Zhipeng Li
Zhipeng Li
作者你好，感谢你的回复，我有尝试几种做法，出现了以下的情况： 1. 将mi loss权重设置为0，结果是，mi loss的计算是震荡甚至是一直发散的，这或许是估计CLUB的网络没有学好？我调整了CLUB网络大小，增加了层数，以及学习率，出现同样的问题； 2. 将mi loss权重设置为较小的数，如0.01，将会导致mi loss在大部分step下等于0; 想请教作者对于mi互信息估计的loss调试的经验