FastGPT
FastGPT copied to clipboard
fastgpt调用ollama的qwen2.5:3b提示失败,oneapi测试正常,工作流调试也正常
例行检查
- [x] 我已确认目前没有类似 issue
- [x] 我已完整查看过项目 README,以及项目文档
- [x] 我使用了自己的 key,并确认我的 key 是可正常使用的
- [x] 我理解并愿意跟进此 issue,协助测试和提供反馈
- [x] 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的 issue 可能会被无视或直接关闭
你的版本 FastGpt V4.8.11,oneapi 0.6.8。ubuntu docker 安装的ollama,ollama运行的qwen2.5:3b。
- [ ] 公有云版本
- [x] 私有部署版本, 具体版本号:
问题描述, 日志截图
fastgpt调用ollama的qwen2.5:3b提示失败,而oneapi测试正常,工作流调试也正常
复现步骤
1、oneapi中添加qwen2.5:3b的渠道
2、fastgpt中config.local.json中增加qwen2.5:3b的模型配置
3、创建应用、工作流并使用qwen2.5:3b
4、应用测试聊天报错LLM model response empty
5、工作流调试一步步走,可以正常走通
预期结果
都应该调用走通
相关截图
工作流调用成功:
oneapi调用成功:
fastgpt config.local.json截图:
fastgpt调用失败截图:
fastgpt调用失败时oneapi截图:
fastgpt调用ollama报错后台日志:
工作流调试调用成功fastgpt后台日志:
工作流调试调用成功oneapi日志:
工作流调试调用成功
文档里教程的测试结果呢?
ollama 工具调用不支持 stream流式调用,而且qwen2.5模型本身也有点问题。https://github.com/QwenLM/Qwen2.5/issues/1012