BMCook icon indicating copy to clipboard operation
BMCook copied to clipboard
verified publisher icon OpenBMB

使用BMCook对GLM 10B模型压缩提速推理

Open jiangliqin opened this issue 3 years ago • 1 comments

你好，请问BMCook支持对GLM等大模型的模型压缩，提高推理速度吗？

jiangliqin avatar Aug 26 '22 01:08 jiangliqin

据说规模达到100B级别的大模型，比如ChatGPT 175B、文心、星火之类，商用部署推理时基本只会做量化压缩。其它压缩如剪枝蒸馏后模型效果会很差，基本不会用，不清楚 是否属实？

wishday avatar Jul 26 '23 02:07 wishday