Lian Zhou
Lian Zhou
期待通义千问官方能出手去 FastChat 那边推动对 Qwen1.5的适配,包括普通的 Chat 版和 GPTQ 的量化版。
相同的程序,用 Qwen1.5-7B-Chat-GPTQ-Int4 没问题,用 Qwen1.5-7B-Chat-GPTQ-Int8 在推理的时候报错: RuntimeError: probability tensor contains either `inf`, `nan` or element < 0
Looking forward to adding support for Qwen1.5, including Qwen1.5-7B-Chat, Qwen1.5-7B-Chat-GPTQ-Int8, and so on. Qwen1.5 is more powerful than Qwen. Thank you.
### Model Series Qwen3 ### What are the models used? Qwen3-4B ### What is the scenario where the problem happened? vllm ### Is this a known issue? - [x] I...
用相同的代码、参考音频和文本,在Mac 和 Linux下面,分别用CPU和GPU合成语音,CPU合成的语音质量明显远高于GPU的合成质量。甚至有的参考音频在GPU上合成的音频结果在默认有严重的杂音。