BigFaceCat
Results
3
comments of
BigFaceCat
这里想请教下，如果想针对新的音色进行模型精调，是只训练spk_emb矩阵嘛？还是需要同时训练spk_emb，gpt相关模块呀？
> 这里想请教下，如果想针对新的音色进行模型精调，是只训练spk_emb矩阵嘛？还是需要同时训练spk_emb，gpt相关模块呀？ 我尝试针对新的音色，固定or训练spk_emb，固定or训练gpt.gpt模块，固定or训练decoder模块，loss使用的就是mel频谱的mse loss和语音logits的交叉熵，但始终不能得到一个很稳定（音色相似or稳定）的模型表现。 想请问可以指导一下吗～ @fumiama @ain-soph
> @gafield-liu 训练效果确实不太行，可能得调一调训练参数。我现在的只是随便写的 这里应该缺少了语音embedding的提取模块，随机初始化的话音色精调出来效果不行～