FastGPT icon indicating copy to clipboard operation
FastGPT copied to clipboard

ollama部署的qwen2.5无法使用工具调用

Open fzcccc opened this issue 1 year ago • 12 comments

例行检查

  • [x] 我已确认目前没有类似 issue
  • [x] 我已完整查看过项目 README,以及项目文档
  • [x] 我使用了自己的 key,并确认我的 key 是可正常使用的
  • [x] 我理解并愿意跟进此 issue,协助测试和提供反馈
  • [x] 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的 issue 可能会被无视或直接关闭

你的版本

  • [ ] 公有云版本
  • [x] 私有部署版本, 具体版本号: fastgpt:4.8.17 ollama:0.5.4 oneapi:0.6.7 问题描述, 日志截图,配置文件等 我使用了ollama部署qwen2.5:14b,无法正常使用工具调用,我按照官网教程通过curl向oneapi发起测试,没有报错,为什么工作流里面就没法正常调用,麻烦各位大佬帮我看看,实在不知道怎么解决了 复现步骤

预期结果

相关截图 curl测试工具调用: d51acae4009dd19e27d19c9aaf1cc4a 7d1fb6d2bcd9a162c04a8ae604106e2 配置文件: 29fb74dd8e172e198755c81426fa3e7 工作流: 1b2ef9c287693cab660e3ee54bbcfce 7ee41f250d3c769dc2420334de26af2 docker日志: 441901e2eea942e79380db3b95926a0 d49e7abe0e3ba070a4658322b010daf

fzcccc avatar Jan 07 '25 07:01 fzcccc

我之前用过qwen2.5,模型有个bug,fastgpt自动生成的function name,比如cInBMXzQGq58,qwen2.5响应结果会改变function name导致工具调用失败,手动curl正常点的function name是没问题的,不知道你的是不是这个问题

LuckLittleBoy avatar Jan 07 '25 08:01 LuckLittleBoy

我之前用过qwen2.5,模型有个bug,fastgpt自动生成的function name,比如cInBMXzQGq58,qwen2.5响应结果会改变function name导致工具调用失败,手动curl正常点的function name是没问题的,不知道你的是不是这个问题

那你说的改成非流式响应该怎么做呢

fzcccc avatar Jan 07 '25 08:01 fzcccc

image 这样子配置下,不过如果ollama支持流式的话,直接使用流式方式就行吧,换个qwen2试试

LuckLittleBoy avatar Jan 07 '25 08:01 LuckLittleBoy

image 这样子配置下,不过如果ollama支持流式的话,直接使用流式方式就行吧,换个qwen2试试

老哥,我照着你的配置一模一样的去做,不管是流式还是非流式,都不行,是不是还有其他地方需要配置的 cb8d5a3b7b89c9f9c221423df4c20e7 1f1ef67702a9542e7b14e7c87ea2180

fzcccc avatar Jan 08 '25 01:01 fzcccc

不太清楚,我测试了一下是可以的

LuckLittleBoy avatar Jan 09 '25 02:01 LuckLittleBoy

请问这个问题解决了吗?我使用本地ollama部署的qwen2.5模型也是这个问题,但是使用代码直接调用本地模型function call是正常的

ayellowhuang avatar Jan 19 '25 12:01 ayellowhuang

请问这个问题解决了吗?我使用本地ollama部署的qwen2.5模型也是这个问题,但是使用代码直接调用本地模型function call是正常的

没解决,我看最新的ollama支持流式工具调用,但是我不管流式还是非流式都没成功,不知道跟oneapi有没有关系

fzcccc avatar Jan 21 '25 07:01 fzcccc

我也调不通

ChaoII avatar Feb 28 '25 07:02 ChaoII

同样的问题,不知道是模型本身的问题还是openapi转了一层的问题,有没有其他可以用的开源模型没问题的。

yourgad1 avatar Mar 06 '25 11:03 yourgad1

有人调通吗 求救

SimonSkywalke avatar Apr 15 '25 07:04 SimonSkywalke

oneapi渠道配置时选用openai类型,不要选用ollama

ayellowhuang avatar Apr 15 '25 08:04 ayellowhuang

oneapi渠道配置时选用openai类型,不要选用ollama 多谢大佬 解决了 救大命

SimonSkywalke avatar Apr 15 '25 09:04 SimonSkywalke

This issue has been automatically closed due to prolonged inactivity (more than 6 months plus a 7-day grace period). If this issue still needs to be resolved, you can reopen it and supplement the relevant information.

github-actions[bot] avatar Jan 11 '26 08:01 github-actions[bot]