FastGPT icon indicating copy to clipboard operation
FastGPT copied to clipboard

fastgpt调用ollama的qwen2.5:3b提示失败,oneapi测试正常,工作流调试也正常

Open yixiuquan opened this issue 1 year ago • 2 comments

例行检查

  • [x] 我已确认目前没有类似 issue
  • [x] 我已完整查看过项目 README,以及项目文档
  • [x] 我使用了自己的 key,并确认我的 key 是可正常使用的
  • [x] 我理解并愿意跟进此 issue,协助测试和提供反馈
  • [x] 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的 issue 可能会被无视或直接关闭

你的版本 FastGpt V4.8.11,oneapi 0.6.8。ubuntu docker 安装的ollama,ollama运行的qwen2.5:3b。

  • [ ] 公有云版本
  • [x] 私有部署版本, 具体版本号:

问题描述, 日志截图 fastgpt调用ollama的qwen2.5:3b提示失败,而oneapi测试正常,工作流调试也正常 复现步骤 1、oneapi中添加qwen2.5:3b的渠道 2、fastgpt中config.local.json中增加qwen2.5:3b的模型配置 3、创建应用、工作流并使用qwen2.5:3b 4、应用测试聊天报错LLM model response empty 5、工作流调试一步步走,可以正常走通 预期结果 都应该调用走通 相关截图 工作流调用成功: image image oneapi调用成功: image fastgpt config.local.json截图: image fastgpt调用失败截图: image fastgpt调用失败时oneapi截图: image fastgpt调用ollama报错后台日志: image 工作流调试调用成功fastgpt后台日志: image 工作流调试调用成功oneapi日志: 1729045311067 工作流调试调用成功 image

yixiuquan avatar Oct 16 '24 02:10 yixiuquan

文档里教程的测试结果呢?

c121914yu avatar Oct 16 '24 11:10 c121914yu

image 先根据文档测试完,根据你的结果,明显就是部署时候,stream 模式有问题

c121914yu avatar Oct 16 '24 11:10 c121914yu

ollama 工具调用不支持 stream流式调用,而且qwen2.5模型本身也有点问题。https://github.com/QwenLM/Qwen2.5/issues/1012

LuckLittleBoy avatar Oct 25 '24 02:10 LuckLittleBoy