About freeze and unfreeze?

[dydxdt]

您好，想问下训练代码里先只freeze最后一层训练30个epoch，然后freeze所有层训练50epoch，这样做是一般比直接加载预训练模型的权重效果会好吗？还是出于什么样的考虑呀

[Runist]

是的，freeze 所有层，只训练最后一层，这个叫做transfer learning，一般可以让模型大胆地，快速地先收敛，不需要过度训练，否则会过拟合。最后unfreeze所有层，进行微调，这时候就需要小的学习率，不会破坏原有学习的特征。这种属于是经验之谈，也不能说所有的模型都适用，但绝大部分imagenet的预训练权重是这样的。

[CraigZhangCq]

@Runist 大佬好，请问不可以加入预训练模型继续训练吗？