StreamPETR
StreamPETR copied to clipboard
exiawsh
关于 flash attention版本导致 VOVNet 为backbone的收敛问题
想请问一下，当flash attention版本从 0.2 切换到 2.0, stream_petr_vov_flash_800_bs2_seq_24e (Vovnet为backbone) 收敛会有问题，loss和grad norm会出现 NAN的情况，导致这个的原因是什么呢，谢谢。
我也出现了这个问题，不过我使用的是stream_petr_r50_flash_704_bs2_seq_24e.py，flash-attn==0.2.8,训练到5w iters左右梯度爆炸了
