ollama部署的qwen2.5无法使用工具调用
例行检查
- [x] 我已确认目前没有类似 issue
- [x] 我已完整查看过项目 README,以及项目文档
- [x] 我使用了自己的 key,并确认我的 key 是可正常使用的
- [x] 我理解并愿意跟进此 issue,协助测试和提供反馈
- [x] 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的 issue 可能会被无视或直接关闭
你的版本
- [ ] 公有云版本
- [x] 私有部署版本, 具体版本号: fastgpt:4.8.17 ollama:0.5.4 oneapi:0.6.7 问题描述, 日志截图,配置文件等 我使用了ollama部署qwen2.5:14b,无法正常使用工具调用,我按照官网教程通过curl向oneapi发起测试,没有报错,为什么工作流里面就没法正常调用,麻烦各位大佬帮我看看,实在不知道怎么解决了 复现步骤
预期结果
相关截图
curl测试工具调用:
配置文件:
工作流:
docker日志:
我之前用过qwen2.5,模型有个bug,fastgpt自动生成的function name,比如cInBMXzQGq58,qwen2.5响应结果会改变function name导致工具调用失败,手动curl正常点的function name是没问题的,不知道你的是不是这个问题
我之前用过qwen2.5,模型有个bug,fastgpt自动生成的function name,比如cInBMXzQGq58,qwen2.5响应结果会改变function name导致工具调用失败,手动curl正常点的function name是没问题的,不知道你的是不是这个问题
那你说的改成非流式响应该怎么做呢
这样子配置下,不过如果ollama支持流式的话,直接使用流式方式就行吧,换个qwen2试试
这样子配置下,不过如果ollama支持流式的话,直接使用流式方式就行吧,换个qwen2试试
老哥,我照着你的配置一模一样的去做,不管是流式还是非流式,都不行,是不是还有其他地方需要配置的
不太清楚,我测试了一下是可以的
请问这个问题解决了吗?我使用本地ollama部署的qwen2.5模型也是这个问题,但是使用代码直接调用本地模型function call是正常的
请问这个问题解决了吗?我使用本地ollama部署的qwen2.5模型也是这个问题,但是使用代码直接调用本地模型function call是正常的
没解决,我看最新的ollama支持流式工具调用,但是我不管流式还是非流式都没成功,不知道跟oneapi有没有关系
我也调不通
同样的问题,不知道是模型本身的问题还是openapi转了一层的问题,有没有其他可以用的开源模型没问题的。
有人调通吗 求救
oneapi渠道配置时选用openai类型,不要选用ollama
oneapi渠道配置时选用openai类型,不要选用ollama 多谢大佬 解决了 救大命
This issue has been automatically closed due to prolonged inactivity (more than 6 months plus a 7-day grace period). If this issue still needs to be resolved, you can reopen it and supplement the relevant information.
这样子配置下,不过如果ollama支持流式的话,直接使用流式方式就行吧,换个qwen2试试