wertyac
wertyac
Yep. I miss the same issue of Ubuntu 16.0.4.
目前也发现，不过我发现一点方法可能会好一些，在ptuingv2的时候除了加要增加的知识外，还额外增加一个chatgpt的问答模型，这样调出来的，不会特别遗忘，比单纯知识遗忘好一点儿。不知道lora会不会好一些。
+1 for openai api support。
我用lmdeploy，4卡部署，目前没有发现AWQ的问题，不过会出现重复回答的问题，出现频率有点高。 命令为：lmdeploy serve api_server ./Qwen2-72B-Instruct-AWQ --backend turbomind --model-format awq --tp 4 --server-port 8000 --session-len 32000 --quant-policy 8 ##lmdeploy check_env (lmdeploy) health@144server:/opt/model/ms$ lmdeploy check_env sys.platform: linux Python: 3.10.13 (main, Sep 11...
> > 我用lmdeploy，4卡部署，目前没有发现AWQ的问题，不过会出现重复回答的问题，出现频率有点高。 命令为：lmdeploy serve api_server ./Qwen2-72B-Instruct-AWQ --backend turbomind --model-format awq --tp 4 --server-port 8000 --session-len 32000 --quant-policy 8 > > ##lmdeploy check_env (lmdeploy) health@144server:/opt/model/ms$ lmdeploy check_env sys.platform: linux Python:...
> > 试试 presence_penalty: 0.5 > > lmdeploy 的 turbomind 不支持这个参数哈。repetition_penalty=1.02 试试 按照文档说明的话repetition_penalty为1.1才有惩罚效果，其它的反而不行吧。
同样问题AWQ的模型重复概率大很多，设置reptition penalty=1.1也没有解决。
I have the same issue. It seems OCR does not use GPUs. How to improve it?
How to solve? Face the same issue.