Itsuka-Xx
Itsuka-Xx
又测试了一下，短句在我加了句号后，能够解决生成内容混入不属于我输入的文字内容的问题。
> 加了句号任然会有不小的概率出现无意义的语音。比如：好的。你多抽几次卡就可能会出现。 确实，后面多测了几次，还是会出现，只能说比原来好一些了。新版本在生成的时候随机性确实是个问题。
> 见api.py api_v2不是原来Fast_infercence分支的吗，我以为这个推理速度会更快一点。api.py 我写了一个测试代码，接受第一个数据块的内容也达到了3S，好像也还是完全转换后用流式传回，并非是边生成边传输呢
> 必须得等GPT推理完才能decode 意思就是没办法边生成边传输吗？大佬还有啥办法提升推理速度吗？除了换显卡（苦笑）
> 看文档里多会话 > 看文档里多会话 大佬，我看了一下你的文档，是只支持webrtc的多会话吗？我测试了一下默认的rtc的，貌似没有办法实现分离。