Willy Abshire
Willy Abshire
模型配置文件如下： #模型配置项 #默认选用的 LLM 名称 DEFAULT_LLM_MODEL: qwen2-7b-instruct #默认选用的 Embedding 名称 DEFAULT_EMBEDDING_MODEL: bge-large-zh-v1.5 #AgentLM模型的名称 (可以不指定，指定之后就锁定进入Agent之后的Chain的模型，不指定就是 DEFAULT_LLM_MODEL) Agent_MODEL: '' #默认历史对话轮数 HISTORY_LEN: 3 #大模型最长支持的长度，如果不填写，则使用模型默认的最大长度，如果填写，则为用户设定的最大长度 MAX_TOKENS: #LLM通用对话参数 TEMPERATURE: 0.7 #支持的Agent模型 SUPPORT_AGENT_MODELS: - chatglm3-6b -...
ollama配置如下 root@86ee9f449bc5:/# ollama list NAME ID SIZE MODIFIED bge-large-zh-v1.5:latest bc8ca0995fcd 651 MB 26 hours ago qwen2-7b-instruct:latest 3f5a2ad726c9 8.1 GB 3 days ago 目前用chatchat的聊天功能正常，但是一涉及到知识库的操作就无响应。
我也有点怀疑是Embeding模型这边的问题，不知ollama下应该如何配置embeding模型？ 我看网上说embeding是不能用ollama run 来直接跑的，因此就保持只是pull下来的那个状态，用ollama run跑的是qwen2的那个模型。
没解决啊，这两天一直在研究chatchat+ollama的部署方案，但一直也没成功。 官方似乎只对xreference感兴趣，其他几类工具仅仅说支持，但文档太少。
The input format is ensured by the Generate Subtitles and Outlines node; I am simply entering the content according to the example provided. @dosu
I'm not quite get what you mean, where should I input the JSON array in this case? @dosu
@dosu hi bot, they're quite different issues OK?
@worm128 transfomer速度很慢的问题解决了吗，我这也遇到了。 之前用vllm一直挺快，但是现在显卡降级了，计算能力低于7.5用不了vllm了，就改成了Transformer，慢的像牛，问个你好也得半分钟才有响应。