zll0000
zll0000
@YouSenRong Can you give you commd how to set the layers to fp32
> I use tensorrt version is 8.5.2.2
@zerollzeng
> 报错信息是什么？您网络是通的吗？ 通的 利用下面代码请求相同的url 是通的 payload = { "model": 'Qwen2-72B-Instruct', "prompt": "", "stream": False, "temperature": 0.0, #"top_k":-1, #"top_p":1, #"presence_penalty": 0.0, #"frequency_penalty": 0.0, "max_tokens": 2048, #"stop": [""], #'stop_token_ids': [7], #"useSearch":False, #"ignore_eos":...
> 报错信息方便贴下吗？ evalscope perf --url 'http://andesinfer-api-2.local/api//docqa_translate/v1/completions' --parallel 128 --model 'Qwen2-72B-Instruct' --log-every-n-query 10 --read-timeout=120 --dataset-path './data/open_qa.jsonl' -n 1 --max-prompt-length 128000 --api openai --stream --stop '' --dataset openqa --debug Save the result...
> 辛苦看下：--url 'http://andesinfer-api-2.local/api//docqa_translate/v1/completions' 为什么变成 url=URL('http://our_url/docqa_translate/v1/completions'), headers=)> 改回取是一样的 evalscope perf --url 'http://andesinfer-api-2.oppo.local/api/xiaobu/docqa_translate/v1/completions' --parallel 128 --model 'Qwen2-72B-Instruct' --log-every-n-query 10 --read-timeout=120 --dataset-path './data/open_qa.jsonl' -n 1 --max-prompt-length 128000 --api openai --stream --stop '' --dataset...
> 那可能是网络问题，您确认是否可以脸上wandb服务器。 wandb 网页上测试代码跑是正常的
@hiyouga
> I was having the same issue with minicpm-v, I had to use Transformers 4.48.3 Do. you have resolve this problem
@BUAADreamer