多模态模型发文字可以正常使用，但是发图片就报错。

[mrguo6221]

例行检查

• [x] 我已确认目前没有类似 issue
• [x] 我已完整查看过项目 README，以及项目文档
• [x] 我使用了自己的 key，并确认我的 key 是可正常使用的
• [x] 我理解并愿意跟进此 issue，协助测试和提供反馈
• [x] 我理解并认可上述内容，并理解项目维护者精力有限，不遵循规则的 issue 可能会被无视或直接关闭

你的版本

• [ ] 公有云版本
• [x] 私有部署版本, 具体版本号: 4.8

问题描述, 日志截图 config设置：

fastgpt错误日志

oneapi渠道测试：

oneapi渠道设置：

oneapi错误日志：

fastgpt中发送文字正常聊天和发送图片错误提示：

复现步骤 1.用ollama运行llava-llama3:8b 2.在oneapi添加llava-llama3:8b的使用渠道并测试 成功 3.在fastgpt的config里面添加oneapi中的llava-llama3:8b渠道，并且重启fastgpt 4.在fastgpt新建任务，使用刚刚在config中 添加的 oneapi中的llava-llama3:8b渠道 5.可以使用此渠道进行 正常 的文本聊天 6.一旦发送图片报错如图所示，fastgpt oneapi 的日志如图所示

预期结果 正常使用通用的多模态模型不报错 相关截图

[lijiajun1997]

llama3不是多模态吧 另外多模态的bug多半在oneapi那边

[mrguo6221]

llama3不是多模态吧 另外多模态的bug多半在oneapi那边

这是一个用llama3结合起来 的多模态模型，使用 openwebui可以正常调用 ollama运行的这个模型，发图片问答啥的都正常。

[lijiajun1997]

llama3不是多模态吧 另外多模态的bug多半在oneapi那边

这是一个用llama3结合起来 的多模态模型，使用 openwebui可以正常调用 ollama运行的这个模型，发图片问答啥的都正常。

你得看格式是否和openai兼容，可以去oneapi那边问问

[xiaoToby]

对话框中可以放入图片了？@lijiajun1997

[xiaoToby]

你z这个图片怎么进去的？@mrguo6221

[lijiajun1997]

你z这个图片怎么进去的？@mrguo6221

支持多模态的模型，在config里打开vision就可以

[i-square]

你这个问题是因为ollama不支持openai的vision接口，参考 Ollama OpenAI compatibility docs

而one-api添加的渠道是用openai的接口格式请求的，自然就报错了

[13829386012]

你这个问题是因为ollama不支持openai的vision接口，参考 Ollama OpenAI compatibility docs

而one-api添加的渠道是用openai的接口格式请求的，自然就报错了

请问您我要上传图片使用多模态模型，需要做哪些设置，我非常需要

[13829386012]

@mrguo6221 请问一下您解决这个问题了吗？

[mrguo6221]

@mrguo6221 请问一下您解决这个问题了吗？

解决不了，感觉ollama也是通过这种方式保留自己的生态圈。你用openwebui 可以正常使用ollama的多模态模型，但是他就不开放api通用接口的某些功能。

[13829386012]

@mrguo6221 请问一下您解决这个问题了吗？

解决不了，感觉ollama也是通过这种方式保留自己的生态圈。你用openwebui 可以正常使用ollama的多模态模型，但是他就不开放api通用接口的某些功能。

我看ollama api文件里是有支持图片的

[mrguo6221]

@mrguo6221 请问一下您解决这个问题了吗？

解决不了，感觉ollama也是通过这种方式保留自己的生态圈。你用openwebui 可以正常使用ollama的多模态模型，但是他就不开放api通用接口的某些功能。

我看ollama api文件里是有支持图片的

没错 是有图片支持的，但是他这种支持不是openapi的通用格式。你明白区别么？就是如 oneapi等程序 都是直接拿openai的 api格式连接模型的，这些程序就不能调用ollama运行的模型的图片功能，挺麻烦的。