mal loss 上升

[Shu-Ang]

训练初期mal loss上升的原因是什么？

[lulukie]

我也想知道

[ShihuaHuang95]

非常感谢你对我们工作的关注和感兴趣。 如果你注意到的话，我们DEIM里面的Dense O2O是一个多阶段的data aug。开始训练的因为Transformer没有inductive bias，我们会关闭Dense O2O，以免让其没有任何建模能力的时候就遇到特别强的数据增强。同时MAL主要改进VFL的是惩罚low-quality matching——即IoU分数特别低的matches会给很大的punishment。