MaxKB icon indicating copy to clipboard operation
MaxKB copied to clipboard

[FEATURE]本地化其他模型: vLLM和Xinference

Open Readyou123 opened this issue 1 year ago • 2 comments

MaxKB 版本

v1.1.2

请描述您的需求或者改进建议

希望能够本地加载ollama之外的大模型,例如chatglm

请描述你建议的实现方案

No response

附加信息

No response

Readyou123 avatar May 11 '24 03:05 Readyou123

感谢反馈,需要研究一下对接方式,方便的话会进行对接。

baixin513 avatar May 12 '24 00:05 baixin513

本地化模型供应商 在 1.5.0 版本还会支持 vLLM和Xinference 。

baixin513 avatar Aug 07 '24 10:08 baixin513