wangyifei

[email protected]

Results 4 comments of


                                            wangyifei

dashinfer_vlm_serve --model models/Qwen2-VL-2B-Instruct-GPTQ-Int8 报错 KeyError: 'q_proj.weight'

试了awq量化后的、gptq量化后的都报这个错，请问下是现在还不支持吗？还是使用上有问题啊？文档也没看到相关说明

dashinfer_vlm_serve --model models/Qwen2-VL-2B-Instruct-GPTQ-Int8 报错 KeyError: 'q_proj.weight'

https://github.com/modelscope/dash-infer/pull/60

dashinfer_vlm_serve --model models/Qwen2-VL-2B-Instruct-GPTQ-Int8 报错 KeyError: 'q_proj.weight'

> [#60](https://github.com/modelscope/dash-infer/pull/60) 看着最新版本支持了gptq量化的，awq的支持了吗

dashinfer_vlm_serve --model models/Qwen2-VL-2B-Instruct-GPTQ-Int8 报错 KeyError: 'q_proj.weight'

嗷嗷，gptq的升级新版本OK了。请问awq有计划支持吗