[FEATURE]优化流式输出，加快数据展示

[34892002]

MaxKB 版本

1.0.4

请描述您的需求或者改进建议

从接口返回的数据来看是支持stream的，但前端必须要等到大部分数据返回才能展示对话。感官上就是其他的gpt类产品是一个字一个字的往外蹦，MaxKB是一大串一大串的往外抛，感觉上对比要慢很多。最后祝MaxKB越来越好!

请描述你建议的实现方案

No response

附加信息

No response

[baixin513]

感谢反馈，应该是模型返回的问题，当前 MaxKB 使用的就是 stream 流的方式输出答案，部分模型返回答案时就是一串一串的。 MaxKB 中间未加工或改造直接返回的模型数据，可以切换几个不同平台的模型看一下效果。

[34892002]

使用的模型返回的数据是 stream 流。调试器查看到接口返回总共40k的数据，当前数据都返回15k了界面上还是“回答中...” ， 前端差不多得等到数据返回完从一次抛出来。

[34892002]

希望能够重视一下，模型是一个字两个字返回的，前端却是一大段一大段的输出的

[baixin513]

我们查看了这块的处理代码，可以有优化一下，但跟网络也有很大关系。

[baixin513]

能否确认一下使用的什么模型 ？ 我们测试多个平台的模型响应挺快。

[shaohuzhang1]

根据你提供的图片可以看到,模型响应数据在5-5.5秒之间前面的等待时间是模型一直未返回数据

[shaohuzhang1]

请确定stream的第一个的块返回时间。

[34892002]

@baixin513 是使用的是智谱AI glm-3-turbo。不好意思是我描述的有问题，不是模型接口返回数据的时间慢，而是模型接口返回数据了但是ui界面没有及时展示出来。

[34892002]

@shaohuzhang1 11分20秒还是“回答中” 11分7秒开始的第一个包 11分23秒结束

[34892002]

期望能像这样收到数据就展示

[shaohuzhang1]

感谢反馈,预计下一个版本修改