AUFEfzx

Results 4 comments of AUFEfzx

【报名】:6 【其他意向】:4 不接受调剂

我也遇到一样的问题,和你一样oom在后面vllm部署的推理服务上。很好奇为什么这里的vllm服务不把tensor_parallel_size和pipeline_parallel_size参数开放出来?