wgada
wgada
作者您好，感谢您提出的这项非常有意义的工作。我利用2卡的3090GPU尝试复现MuKEA在OK-VQA上的准确率。首先在预训练阶段学习率设置为代码里的10（-4），在第14轮左右预训练的准确率可以达到27.2左右。然后我利用这个模型在okvqa上进行微调，学习率也为10（-4），epoch为200，但往往在100-150轮左右收敛，准确率最高可达到40左右，与论文里的准确率42.59差了2个点。然后我将预训练的学习率设置为论文里的10（-5），epoch设置为200，在第181轮时预训练的准确率可以达到30.34，我拿这个模型进行微调准确率可以达到41.57，和论文里的准确率还是差了1个点左右。我也尝试过调低微调阶段学习率，代码也没有修改过，指令输入无误，但总是和论文里的准确率差了一两个点。所以想问一下作者能不能release一下训练好的模型。也请作者能够解答一下我的困惑，祝工作科研顺利！
Dear author, thank you for this very meaningful work! I want to reproduce this paper on GQA200 recently. However, It is a pity that the GQA200 link does not work...