makimon123

您好，关于mi_loss我有一个相反的问题。在使用自己的数据集之后，从训练开始mi_loss的值就一直在0附近，在整个训练过程中变化很小，最后做跨模态匹配的效果不太理想。不知道您在前期实验过程中是否遇到过这样的问题，非常感谢您能为我答疑解惑！

> > 您好，关于mi_loss我有一个相反的问题。在使用自己的数据集之后，从训练开始mi_loss的值就一直在0附近，在整个训练过程中变化很小，最后做跨模态匹配的效果不太理想。不知道您在前期实验过程中是否遇到过这样的问题，非常感谢您能为我答疑解惑！ > > 只要lld_loss和mi_loss都正常的话，说明模态自身的分离应该是成功的，但跨模态匹配的效果还取决于对齐部分的情况，你的模型和这边是类似的吗？如果是的话，会不会是模态对齐部分没有训练好？你可以提供更多细节，以方便我们进一步讨论。 非常感谢您的回复，模型的总体架构是类似的，现在看来应该是对齐部分在训练中没有有效收敛，我再尝试一下不同的对齐方法，希望能有提升，再次感谢！

and the final training results are relatively poor. I suspect this is because the logits have not been trained well. plz

Thank you very much for your help! I have tried the new method you suggested, but unfortunately, I am encountering an issue where the values in sigma_pdist remain abnormal and...