MaxKB icon indicating copy to clipboard operation
MaxKB copied to clipboard

添加向量模型问题

Open shanghairendaimin opened this issue 1 year ago • 2 comments

MaxKB 版本

1.4.0

请描述您的需求或者改进建议

升级到1.4.0后发现可以添加第三方的向量模型,比如本地向量或者ollama上的向量。像阿里云、科大讯飞也都有各自的文本向量,如果有API-KEY原理上也能添加他们的文本向量模型。但是在添加的时候只能选择大语言模型,选择不了向量模型。

请描述你建议的实现方案

像阿里云、科大讯飞、百度等模型添加中也希望可以添加他们的向量模型。

附加信息

No response

shanghairendaimin avatar Aug 01 '24 02:08 shanghairendaimin

感谢反馈,后续版本考虑一下

baixin513 avatar Aug 01 '24 03:08 baixin513

根据下面的文档说明,可以添加本地向量模型,但我操作步骤2失败

https://maxkb.cn/docs/user_manual/model/model/

1、将向量模型下载到本地服务器。

推荐模型下载网址

https://huggingface.co/models?other=text-embedding

下载后存放在/opt/maxkb/model/local_embedding目录下

2、使用-v 将宿主机模型路径挂载到 MaxKB 容器内部。

-v /opt/maxkb/model/local_embedding:/opt/maxkb/model/local_embedding

说明: v 模型所在目录:MaxKB容器内目录

难道是再次运行 docker run -v /opt/maxkb/model/local_embedding:/opt/maxkb/model/local_embedding ? docker run -d --name=maxkb -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data cr2.fit2cloud.com/1panel/maxkb -v /opt/maxkb/model/local_embedding:/opt/maxkb/model/local_embedding

根据下面的 https://blog.csdn.net/weixin_44734350/article/details/140720938

根本找不到yml文件,但是在快速启动的 MaxKB/installer里面是是由config。yml文件的 里面有宿主机和docker的目录 /opt/maxkb/model 但一个是/opt/maxkb/model/local_embedding 一个 /opt/maxkb/model/embedding

完全对应不起来呀

vc5409ftu avatar Aug 21 '24 06:08 vc5409ftu

1.7.0版本已发布,请更新到最新版使用

zyyfit avatar Oct 31 '24 07:10 zyyfit

根据下面的文档说明,可以添加本地向量模型,但我操作步骤2失败

https://maxkb.cn/docs/user_manual/model/model/

1、将向量模型下载到本地服务器。

推荐模型下载网址

https://huggingface.co/models?other=text-embedding

下载后存放在/opt/maxkb/model/local_embedding目录下

2、使用-v 将宿主机模型路径挂载到 MaxKB 容器内部。

-v /opt/maxkb/model/local_embedding:/opt/maxkb/model/local_embedding

说明: v 模型所在目录:MaxKB容器内目录

难道是再次运行 docker run -v /opt/maxkb/model/local_embedding:/opt/maxkb/model/local_embedding ? docker run -d --name=maxkb -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data cr2.fit2cloud.com/1panel/maxkb -v /opt/maxkb/model/local_embedding:/opt/maxkb/model/local_embedding

根据下面的 https://blog.csdn.net/weixin_44734350/article/details/140720938

根本找不到yml文件,但是在快速启动的 MaxKB/installer里面是是由config。yml文件的 里面有宿主机和docker的目录 /opt/maxkb/model 但一个是/opt/maxkb/model/local_embedding 一个 /opt/maxkb/model/embedding

完全对应不起来呀

根据下面的文档说明,可以添加本地向量模型,但我操作步骤2失败

https://maxkb.cn/docs/user_manual/model/model/

1、将向量模型下载到本地服务器。

推荐模型下载网址

https://huggingface.co/models?other=text-embedding

下载后存放在/opt/maxkb/model/local_embedding目录下

2、使用-v 将宿主机模型路径挂载到 MaxKB 容器内部。

-v /opt/maxkb/model/local_embedding:/opt/maxkb/model/local_embedding

说明: v 模型所在目录:MaxKB容器内目录

难道是再次运行 docker run -v /opt/maxkb/model/local_embedding:/opt/maxkb/model/local_embedding ? docker run -d --name=maxkb -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data cr2.fit2cloud.com/1panel/maxkb -v /opt/maxkb/model/local_embedding:/opt/maxkb/model/local_embedding

根据下面的 https://blog.csdn.net/weixin_44734350/article/details/140720938

根本找不到yml文件,但是在快速启动的 MaxKB/installer里面是是由config。yml文件的 里面有宿主机和docker的目录 /opt/maxkb/model 但一个是/opt/maxkb/model/local_embedding 一个 /opt/maxkb/model/embedding

完全对应不起来呀

可以参考一下该文档:https://kb.fit2cloud.com/?p=d2473800-5f3c-4b10-a8da-94c6913fb710 如果还是有问题,可以加入技术交流群,提供一下更详细的日志。

baixin513 avatar Oct 31 '24 07:10 baixin513