FastChat icon indicating copy to clipboard operation
FastChat copied to clipboard
verified publisher icon lm-sys

glm4 Churn out

Open pingyuan2016 opened this issue 1 year ago • 4 comments

安装命令 pip install git+https://github.com/lm-sys/FastChat.git

执行命令：python3 -m fastchat.serve.cli --model-path ./model/glm-4-9b-chat/

输入：你好等

输出：不停地输出

装的最新版本，这自适应的glm-4是不是还是有bug

image

pingyuan2016 avatar Jun 20 '24 10:06 pingyuan2016

也遇到一样的问题, 看了一圈，对比了下GLM3和GLM4官方提供的示例，它们终止的 token id 不一样，目前FastChat 似乎还没有兼容到 glm4 的对话模板 image image

linh31332 avatar Jul 01 '24 07:07 linh31332

没有解决方案吗

q872839000 avatar Sep 04 '24 02:09 q872839000

没有解决方案吗

可以自己修改 FastChat 的代码，把GLM4 对应模板补充上去

linh31332 avatar Sep 05 '24 02:09 linh31332

没有解决方案吗

可以自己修改 FastChat 的代码，把GLM4 对应模板补充上去

https://github.com/lm-sys/FastChat/pull/3402/commits/a34dcc08dbd23bd226ebcec748211b7a3a9c28d1#diff-21c1e357f53a0a6d5d5a812e75710d0e3b013c889373a7c6c5019c491b2c05f1%20 可以参考这个，有大佬改了

linh31332 avatar Sep 05 '24 03:09 linh31332