zps-509

我刚刚在 https://udify.app/chat/VfbjY8kvFH76I3CA 配置同一个 chatglm 和同一个 stable diffusion成功了。可以生成图片，没有报错。。 但是在私有化 docker 部署的里面还是一样，使用的同样的方法。会生成图片，但是一下就会报错，图片没了。

INFO:httpx:HTTP Request: GET http://192.168.133.98:20009/sdapi/v1/sd-models "HTTP/1.1 200 OK" INFO:httpx:HTTP Request: POST http://192.168.133.98:55555/v1/chat/completions "HTTP/1.1 200 OK" INFO:httpx:HTTP Request: GET http://192.168.133.98:20009/sdapi/v1/sd-models "HTTP/1.1 200 OK" INFO:httpx:HTTP Request: POST http://192.168.133.98:55555/v1/chat/completions "HTTP/1.1 500 Internal Server Error"...

[root@localhost docker]$ curl -X POST "http://192.168.133.98:55555/v1/chat/completions" -H "Content-Type: application/json" -d "{\"model\": \"chatglm3-6b\", \"messages\": [{\"role\": \"system\", \"content\": \"\"}, {\"role\": \"user\", \"content\": \"hello Word\"}], \"stream\": false, \"max_tokens\": 100, \"temperature\": 0.8, \"top_p\": 0.8}"...

我切换成 XInference ，可以正常调取tools，没有报错。 但是我的 “提示词”，感觉失效了。 请问这个是什么回事呢 ？

1. 我使用 chatglm3作为LLM，提示词里面说“你是一个客服，你叫XX”，然后跟他对话，问他‘你是谁’，他回复我“我是XX客服，有什么可以帮助你的” 2. 我使用 XInference 里面的chatglm3作为LLM, 提示词一样，然后跟他对话，问他‘你是谁’，他回答我 ‘我是一个名为 ChatGLM3-6B 的人工智能助手’ 以上操作对比，感觉使用 XInference之后，提示词失效了。