希望尽快支持Qwen3-30B-A3B-Instruct-2507的AWQ量化

[BUJIDAOVS]

尝试使用对Qwen3-30B-A3B-Instruct-2507进行量化时报错

swift export
--model /model/Qwen3-30B-A3B-Instruct-2507
--dataset 'swift/Chinese-Qwen3-235B-2507-Distill-data-110k-SFT'
--device_map auto
--quant_n_samples 64
--quant_batch_size -1
--max_length 8192
--quant_method awq
--quant_bits 4
--output_dir /model/Qwen3-30B-A3B-Instruct-2507-AWQ

已参考官方脚本 https://github.com/modelscope/ms-swift/blob/main/examples/export/quantize/moe/awq.sh

希望尽快在魔搭社区提供awq版量化模型

[Jintao-Huang]

好的

[BUJIDAOVS]

https://www.modelscope.cn/models/swift/Qwen3-30B-A3B-Instruct-2507-AWQ 在魔搭7月30日发布的awq模型精度效果奇差无比，从未见过损失这么严重的awq，和初始模型的效果完全不一致 怀疑是初始模型用错了，或者量化了moe不该量化的部分层 Qwen3-30B-A3B-Instruct是颇受期待的模型，官方模型效果很惊艳，希望swift能提供低精度损失的awq量化模型，望修复！

[zcfrank1st]

+1

[nctu6]

Any progress ?

[huhahuaha]

Any progress ?+1

[uchihaseki]

Any progress ? +2