mrguo6221

Results 4 comments of mrguo6221

> llama3不是多模态吧 另外多模态的bug多半在oneapi那边 这是一个用llama3结合起来 的多模态模型,使用 openwebui可以正常调用 ollama运行的这个模型,发图片问答啥的都正常。

> @mrguo6221 请问一下您解决这个问题了吗? 解决不了,感觉ollama也是通过这种方式保留自己的生态圈。你用openwebui 可以正常使用ollama的多模态模型,但是他就不开放api通用接口的某些功能。

> > > @mrguo6221 请问一下您解决这个问题了吗? > > > > > > 解决不了,感觉ollama也是通过这种方式保留自己的生态圈。你用openwebui 可以正常使用ollama的多模态模型,但是他就不开放api通用接口的某些功能。 > > 我看ollama api文件里是有支持图片的 ![image](https://private-user-images.githubusercontent.com/40138671/334303261-c3727ec2-143c-410c-8b41-28a45a3bff58.png?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3MTY4ODYzOTYsIm5iZiI6MTcxNjg4NjA5NiwicGF0aCI6Ii80MDEzODY3MS8zMzQzMDMyNjEtYzM3MjdlYzItMTQzYy00MTBjLThiNDEtMjhhNDVhM2JmZjU4LnBuZz9YLUFtei1BbGdvcml0aG09QVdTNC1ITUFDLVNIQTI1NiZYLUFtei1DcmVkZW50aWFsPUFLSUFWQ09EWUxTQTUzUFFLNFpBJTJGMjAyNDA1MjglMkZ1cy1lYXN0LTElMkZzMyUyRmF3czRfcmVxdWVzdCZYLUFtei1EYXRlPTIwMjQwNTI4VDA4NDgxNlomWC1BbXotRXhwaXJlcz0zMDAmWC1BbXotU2lnbmF0dXJlPThlODczYTdjZDk3YzA3MWM0MjIyZGQzMWRiNDA4N2UxYWNiYWI5NTQ1NGU0MDdiZmJjZWY5NDkwMzk2ZDNjZjQmWC1BbXotU2lnbmVkSGVhZGVycz1ob3N0JmFjdG9yX2lkPTAma2V5X2lkPTAmcmVwb19pZD0wIn0.H8R40IYNHmAWAVQmcUB1V4iBEZGjk43gDK7fUE0DYik) 没错 是有图片支持的,但是他这种支持不是openapi的通用格式。你明白区别么?就是如 oneapi等程序 都是直接拿openai的 api格式连接模型的,这些程序就不能调用ollama运行的模型的图片功能,挺麻烦的。

我用ollama,结果加载就 不正常,22g的显存本来我跑14b 能占用 12g左右,现在直接占用6,然后内存给我多占用20多G,跑的乌龟一样慢,而且本机还是局域网其他机器都一样,大量调用cpu,windows下直接跑都这样。