li-plus
请教chatglm.cpp如何支持chatglm3 的 function calling
貌似作者的分支已经开始支持了，new-prompt-fmt。我测试并没有成功，期待作者放出例子，感觉chatglm3的这次prompt的改动有些大，一些token的id大于60000的应该都是保留的token，防止用户注入。
已经支持了 system prompt / function call / code interpreter，可以跑下 examples/chatglm3_demo.py 这个 demo，参考最新的 README
运行这个chatglm3_demo.py 报错。 是这个chatglm_cpp没有更新吗，今天刚安装的环境。
2023-11-22 21:07:14.770 Uncaught app exception
Traceback (most recent call last):
File "/root/ts/lib/python3.11/site-packages/streamlit/runtime/scriptrunner/script_runner.py", line 534, in _run_script
exec(code, module.dict)
File "/root/chatglm.cpp/examples/chatglm3_demo.py", line 71, in
运行这个chatglm3_demo.py 报错。 是这个chatglm_cpp没有更新吗，今天刚安装的环境。
2023-11-22 21:07:14.770 Uncaught app exception Traceback (most recent call last): File "/root/ts/lib/python3.11/site-packages/streamlit/runtime/scriptrunner/script_runner.py", line 534, in _run_script exec(code, module.dict) File "/root/chatglm.cpp/examples/chatglm3_demo.py", line 71, in class Message(chatglm_cpp.ChatMessage): ^^^^^^^^^^^^^^^^^^^^^^^ AttributeError: module 'chatglm_cpp' has no attribute 'ChatMessage'
我也报这个错了 我看到ChatMessage 写到_C.pyi这个文件里了。
可以先看看 chatglm-cpp 版本是否更新到 0.3.0：
pip show chatglm-cpp
然后在 examples 路径下执行（不要在 chatglm_cpp 根目录执行）：
python3 -c "import chatglm_cpp; chatglm_cpp.ChatMessage"
测试下是否有报错