模型性能测试报错

[LHB-kk]

evalscope perf --url 'xxxx:8000/v1/chat/completions' --parallel 150 --model '/models/Qwen2.5-7B-instruct/'
--log-every-n-query 400 --read-timeout=120
--max-prompt-length 128000 --tokenizer-path "/models/Qwen2.5-7B-instruct/"
--api openai --query-template '{"model": "%m", "messages": [{"role": "user","content": "%p"}], "stream": false,"skip_special_tokens": false,"stop": ["<|im_end|>"]}'
--dataset openqa --dataset-path '/open_qa.jsonl'
--number 10000 \

运行上面命令时，出现以下报错：

[wangxingjun778]

@lxline

[lxline]

您能不能提供一下环境信息（运行设备、版本等）？有助于我们复现该问题。

[Yunnglin]

您可以拉取main分支代码，来使用最新的perf模块尝试，参考使用指南。

由于长时间未收到活动，我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！