manyeyarsltc
manyeyarsltc
Please provide some information about this feature's activation。
自己训练的base模型没有官方给的好;自己拿wenet_speech+kespeech数据(重新用paraformer洗过一遍,还有10000+h,)训练一个base模型,在问问的数据集上字准大概在20%,但阿里开源出来的base模型字准在30%,感觉base模型训练有一些门道,是不是现有的训练方法还是没有达到最优? 训练数据是不一样的;可参考ali的base [https://modelscope.cn/models/iic/speech_charctc_kws_phone-xiaoyun](url)
看代码里面进行训练时,基于base模型训练,但学习率是重新设置的(由大到小),是否开始训练的时候学习率应该比训练base模型更小?
inference_bistream(): ... next_fill_index = -1 ... ##### while True: seq_len = lm_input.shape[1] if cache is None else lm_input.shape[1] + cache[0][0].size(2) y_pred, cache = self.llm.forward_one_step(lm_input, masks=torch.tril(torch.ones((1, seq_len, seq_len), device=lm_input.device)).to(torch.bool), cache=cache) logp...