baigaoyi

训练中途loss变nan

6

您好！我制作了自己的数据集，一半sup，一半unsup，使用bash/tool/dist_train.sh {config} {gps_num}进行训练，config用的1080k。我在iterations=60000的时候中断过一次训练；后来为了继续训练，修改了dist_train.sh脚本，在执行train.py命令行加入了”--resum-from iter_60000.pth“。我查看了日志，从iterations60000到iterations444500训练都正常，但是从这之后，就出现了loss=nan的情况，而且在评估阶段出现“`mmdet.ssod - ERROR - The testing results of the whole dataset is empty`”错误，我检查了我的test数据集，也不是空的，请问这是什么原因呢？loss为nan以及datasets为empty的log截图如下：  ？ 

您好，请问data里的所有yaml文件是与原yolov5的data一样的么？