fzcccc

> 是不是rerank没有释放显存导致超时了 大佬，显存是自动释放的吗，还有超时的时间可以延长吗

> 模型的注意力问题，换能力强的模型，并在提示词里约束。 也可以去优化知识库结构，比如不要直接分割，进行QA拆分，或者其他预处理。 你可以人工看下，匹配出来的知识库，是否正确匹配到了相关知识，引用的是相关+不相关，还是全部是不相关。 我用的是glm4，知识库里面的知识全部都是直接分割，有什么更强的模型推荐吗，引进来的知识是相关+不相关，最后回答的结果就会掺杂着不准确

> 我之前用过qwen2.5，模型有个bug，fastgpt自动生成的function name，比如cInBMXzQGq58，qwen2.5响应结果会改变function name导致工具调用失败，手动curl正常点的function name是没问题的，不知道你的是不是这个问题 那你说的改成非流式响应该怎么做呢

>  这样子配置下，不过如果ollama支持流式的话，直接使用流式方式就行吧，换个qwen2试试 老哥，我照着你的配置一模一样的去做，不管是流式还是非流式，都不行，是不是还有其他地方需要配置的

> 请问这个问题解决了吗？我使用本地ollama部署的qwen2.5模型也是这个问题，但是使用代码直接调用本地模型function call是正常的 没解决，我看最新的ollama支持流式工具调用，但是我不管流式还是非流式都没成功，不知道跟oneapi有没有关系