LHB-kk

ERROR: file or directory not found: /data/liuhuanbin/code/assessments/lm-evaluation-harness/tests/test_version_stable.py

1

Hi, I did the following, but got an ERROR: file or directory not found: /data/liuhuanbin/code/assessments/lm-evaluation-harness/tests/test_version_stable.py git clone https://github.com/EleutherAI/lm-evaluation-harness cd lm-evaluation-harness pip install -e . lm_eval --model hf \ --model_args pretrained=~/llama-2/...

模型性能测试报错

2

evalscope perf --url 'xxxx:8000/v1/chat/completions' --parallel 150 --model '/models/Qwen2.5-7B-instruct/' \ --log-every-n-query 400 --read-timeout=120 \ --max-prompt-length 128000 --tokenizer-path "/models/Qwen2.5-7B-instruct/" \ --api openai --query-template '{"model": "%m", "messages": [{"role": "user","content": "%p"}], "stream": false,"skip_special_tokens": false,"stop":...

访问api 服务，当并发数大于等于500时，出现请求失败

1

 当设置并发数大于等于500时，出现图片上的错误，请问是evalscope的原因嘛，还是api服务的原因？谢谢！

测试时，为什么平均延迟和平均生成第一个token的时间是一样的？