此般浅薄
此般浅薄
Very great job! I have try the latest branch on #8843, The latency problem has been fixed already. But there seems to have some noise in the streaming audio now.
流式首包1-2秒，设备没有播放器可以拿普通电脑作客户端播放声音，给远程有gpu的服务端请求流式获取声音数据
> > 流式首包1-2秒，设备没有播放器可以拿普通电脑作客户端播放声音，给远程有gpu的服务端请求流式获取声音数据 > > 嗯嗯，我现在就是这样实现了，速度确实快了一些，但是刚播放时会有一段噪音，期间也会有电流音，请问这是什么情况呢 应该是写入不够快声音断断续续导致，开始播放时比较容易出现。最好是推理足够快（比播放快），而且客户端那边也要非阻塞的持续将声音数据写入播放器 可以在客户端实现一个持续获取网络数据的generator，播放器同时进行写入和播放。示例 ``` import io import threading class Player: def __init__(self,waittime_topause=600): self.bio = io.BytesIO() self.lock = threading.Lock() self.seek_index = 0 self.waittime_topause=waittime_topause self.finish=False def _write(self,write_binary):...
gradio对流式播放的支持似乎确实有些问题。详见 https://github.com/gradio-app/gradio/issues/8185
同求方案
@ZillaRU 感谢分享思路。想问下是因为需要对应cpp里面的算子实现，所以才需要拆的这么细吗。如果只是往tensorRT方向加速的话，是不是可以适当做一些融合
@ShangmingCai Is there any performance improvement difference between different gpu hardware? For example, when h20 has more vram, the a800 has stronger computing power, I am very concerned about the...
感谢大佬分享。这个版本能和原版本保持相同音色吗，这个issue中有提到 #640
any progress?