XIAOHUIL1 comments

Repositories
Issues
Comments

Results 3 comments of


                                            XIAOHUIL1

[Bug] 使用vllm加速时无法启动多卡

export VLLM_WORKER_MULTIPROC_METHOD=spawn 请在使用多卡进行vllm评测前导入此方法

[Bug] 使用vllm加速时无法启动多卡

> > export VLLM_WORKER_MULTIPROC_METHOD=spawn 请在使用多卡进行vllm体育前导入此方法 > > 我应该把这行代码放在哪里，因为我一开始使用的是 python run.py。 Import before running python run.py

[Bug] model-kwargs参数和generation-kwargs参数无法通过CLI命令行指定

> I encountered the same issue and found that it may be caused by a bug in https://github.com/open-compass/opencompass/blob/0.5.1.post1/opencompass/utils/run.py#L316, where the `generation_kwargs` parameter is missing when generating VLLMwithChatTemplate model config. >...