RanLiu

我没加trust_remote_code会报错，加了就好了

Your work is really great. I wnat to know the feature extraction of texts? bag-of-words or other tokenizers?

您好，在我的训练过程中mi_loss和lld_loss会变成负值，这正常吗？按理说CLUB的loss应该都是正值？具体来说，我有两个模态，一个模态的mi_loss会越来越大（正值），一个模态的mi_loss会越来越小（负值）

> > 您好，在我的训练过程中mi_loss和lld_loss会变成负值，这正常吗？按理说CLUB的loss应该都是正值？具体来说，我有两个模态，一个模态的mi_loss会越来越大（正值），一个模态的mi_loss会越来越小（负值） > > lld_loss是负值是正常的，mi_loss的话如果是非常接近0应该也算正常？如果是绝对值很大的负数那肯定是不正常的。主要看loss是不是收敛至某个值，mi_loss最好能接近0，lld_loss的话接近某个值（这个和模型有关）就行。 mi_loss如果是绝对值很大的负数，那它和很大的正数应该是类似的问题，这通常意味着互信息分离失败。可能是当前的编码器不够强，也可能是互信息分离的次数不够多（即代码里的mi_iters），或者（您所尝试的）模型设计有问题。 感谢您的回答！是lld_loss为绝对值很大的负数和正数。mi_loss确实在0附近，也是一正一负。现在问题是acc很低，只有0.01，有的甚至是0。正在排错中

> self.ema_weight / self.ema_count.unsqueeze(-1) 因为每次ema_weight和ema_count都被更新了，最后的embedding相当于这几个模态影响后的结果。除了最后一次赋值embedding，其他的确实没影响，这里是为了保持格式一样，不写也行。 感谢您的回答！请问在预训练过程中的acc大概能达到多少呢？改了一下CPC的架构，acc很低