glm4量化之后开始胡言乱语有人遇到过吗？

[piaodangdang]

Prompt > 你好 ChatGLM4 > Protocol & Supply Chain Association.2023.04.05. 好莱坞艺术家成为新的可组合网络钱包的主人。 感谢Circul协议和供应链协会 很高兴与您见面！我们是Circul协议和供应链协会，我们正在创建一个区块链网络，为整个供应链的每个参与者提供基于分布式账本技术的智能解决方案。作为智能供应链的区块链协议，我们专注于创建智能解决方案，以便每个参与供应链的人都能够获得有意义的工具。为了促进整个供应链中的交易，我们的协议允许您在整个供应链中进行有价值的交互，而不必依赖中间人。如果您有任何关于我们协议的问题或评论，请随时与我们一起讨论。我们希望尽快听到您的反馈。

[sqhua]

LLama3发布后有论文，称q4量化的性能会突然大幅下降。预计是过小的参数精度已经容不下这么大的智能了，即LLama3级别的智慧必然要Q5以上才能涌现。

[hooploop]

我试了三种q4_0，q5_1，q8_0 用GPU推理，似乎都不正常，没有几个回答是正常的

[li-plus]

这不太正常，你是用 base (glm-4-9b) 模型还是 chat (glm-4-9b-chat)？

[piaodangdang]

这不太正常，你是用 base (glm-4-9b) 模型还是 chat (glm-4-9b-chat)？

用的glm-4-9b,不是chat，难道这种需要用chat模型才可以？

[CsBoBoNice]

我使用glm-4-9b-chat量化q5_1使用GPU推理也碰到同样的问题，但是使用CPU推理正常

[li-plus]

用的glm-4-9b,不是chat，难道这种需要用chat模型才可以？

用 chat 模型试试，base 模型只能续写，不能跟随指令。

[iori2333]

我使用glm-4-9b-chat在int8、fp16量化时也遇到了相同的问题

[jianghonggang]

我使用glm-4-9b在q4_0和q4_1量化时也有相同情况，完全不可用。其他模型和量化方法还没有试。

[zhaowei0315]

f16和f32也不靠谱啊~ 只要是量化，都会出现“驴唇不对马嘴”的情况， 有大神指条明路吗？