perf流式输出报错

[ccly1996]

加上--stream参数流式输出测试是会报错 非流式输出无问题

[ccly1996]

命令：llmuses perf --url 'http://127.0.0.1:8000/v1/chat/completions' --parallel 128 --model 'gpt-4-32k' --log-every-n-query 10 --read-timeout=120 -n 1 --max-prompt-length 128000 --api openai --stream --n-choices 3 --stop-token-ids 128001 128009 --dataset openqa --dataset-path 'open_qa.jsonl'

[liuyhwangyh]

看起来是兼容性问题，请问您压的是什么服务？stream返回的格式是什么？给个例子把， 您这个命令兼容openai接口。

[ccly1996]

用的是fastchat部署的vllm 服务，openai接口，忘了截图了

---- 回复的原邮件 ---- | 发件人 | @.> | | 发送日期 | 2024年07月03日 09:53 | | 收件人 | modelscope/eval-scope @.> | | 抄送人 | ccly1996 @.>, Author @.> | | 主题 | Re: [modelscope/eval-scope] perf流式输出报错 (Issue #64) |

看起来是兼容性问题，请问您压的是什么服务？stream返回的格式是什么？给个例子把， 您这个命令兼容openai接口。

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

[liuyhwangyh]

用的是fastchat部署的vllm 服务，openai接口，忘了截图了 … ---- 回复的原邮件 ---- | 发件人 | @.> | | 发送日期 | 2024年07月03日 09:53 | | 收件人 | modelscope/eval-scope @.> | | 抄送人 | ccly1996 @.>, Author @.> | | 主题 | Re: [modelscope/eval-scope] perf流式输出报错 (Issue #64) | 看起来是兼容性问题，请问您压的是什么服务？stream返回的格式是什么？给个例子把， 您这个命令兼容openai接口。 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

目前openai兼容接口，非流式返回chat.completion, 流式返回"object":"chat.completion.chunk"， 可能您的结果和目前openai接口不兼容，如果能够提供示例，可以修改代码兼容。

[jinweida]

我也有同样的问题。因为流式返回结果可能不包含 object字段

[Yunnglin]

您可以拉取main分支代码，来使用最新的perf模块尝试，参考使用指南。

由于长时间未收到活动，我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！