rustjiao

glm-4-9b-chat量化bin模型(精度q8_0)调用function calling失败

1

```python >首先是对glm3和glm4模型做量化，我下载并使用glm-3-6b-chat和glm-4-9b-chat完整的模型做量化：(量化精度都是q8_0) chatglm.cpp# python3 chatglm_cpp/convert.py -i /glm-3-6b-chat/ -t q8_0 -o models/chatglm3-q8_0-ggml.bin chatglm.cpp# python3 chatglm_cpp/convert.py -i /glm-4-9b-chat/ -t q8_0 -o models/chatglm4-q8_0-ggml.bin >然后分别使用两个量化模型，调用function calling的功能，在此参考作者官方的cli_demo.py 先是测试glm3的量化模型： /chatglm.cpp/examples# python3 cli_demo.py -m /chatglm.cpp/models/chatglm3-q8_0-ggml.bin --temp 0.1...