关于emotionvec的预训练问题？跪求大佬解答

[GUOhm230]

作者都是国内的，我就不用英文编辑了。 大佬这篇论文，是我目前在语音情绪识别领域能看到的效果最好的论文了，测试之后欣喜之余，也触发我的兴趣，我今年研一，也从事相深度学习大模型多模态领域的研究，由于是转专业，因此想拿一些项目练手，提升专业素养。近期也一直在做情绪识别方向的学习和研究。看过论文，看过代码，实验过下游任务之后，我目前想自己预训练以实现大佬论文中的效果，阅读data2vec的论文以及相关代码，并且经过预训练，并使用emotion2vec下游任务中分类头，得到分类结果后，我有几个疑问想请教大佬，如果大佬能抽空回答，我将不胜感激。

1. 您在预训练emotion2vec时使用的数据中，有加噪数据嘛？我使用了开源数据集MER2023, MER2024作为预训练数据，其中有很多的加噪数据，这样会不会影响我的预训练效果呢/
2. 您在huggging-face上提供的预训练模型是否只训练了编码层？请问该模型在情绪识别任务上微调了嘛？

[ddlBoJack]

Thanks for your interest in our paper! Here is the reply:

1. Data augmentation is not conducted in our experiments. However, noise data exists in our pre-training such as the MELD dataset.
2. You can use the emotion2vec+ series models which are fully finetuned on speech emotion data.