pretrain and finetune loss and lr

Open 1073521013 opened this issue 3 years ago • 0 comments

麻烦问两个问题，感谢 1 请问loss在预训练的下降情况是怎么样的，各自初始值是多少呢，最终各自收敛到什么情况呢，finetune大概是什么情况呢 2 lr一般和batch关系比较紧密，那请问finetune过程中你们的batch和lr大概多少呢

Mar 11 '22 03:03 1073521013