[FEATURE]MaxKB消耗的tokens数量和实际LLM消耗的tokens数量出入比较大

[xiaobug0929]

MaxKB 版本

1.1.3

请描述您的需求或者改进建议

MaxKB消耗的tokens数量和实际LLM消耗的tokens数量出入比较大，应该是MaxKB内部相关的向量计算也参与了计算。建议额外提供一个返回值，专门提供实际LLM消耗的tokens数量

请描述你建议的实现方案

No response

附加信息

No response

[baixin513]

感谢反馈，我们统一使用了 GPT-2的模型计算的 输入和输出的 tokens，并没有计算 embedding ， 与在线模型的API计算方式可能不一样。

[marxy]

为什么我用的v1.1.3版本没有显示token消耗量的？

[baixin513]

v1.1.3

你用的什么模型 ？

[marxy]

v1.1.3

你用的什么模型 ？

我用ollama v0.1.38部署的qwen

[baixin513]

您可以升级到最新版本看看，有解决过这个问题。

[shaohuzhang1]

Bot detected the issue body's language is not English, translate it automatically. 👯👭🏻🧑‍🤝‍🧑👫🧑🏿‍🤝‍🧑🏻👩🏾‍🤝‍👨🏿👬🏿

---

You can upgrade to the latest version to see, and this problem has been solved.