Bert中的Embedding Layer

[loxs123]

您好，Bert当中的Embedding Layer是在Layer0之前的，他的学习率设置为Layer0乘以权重ξ（0.95）会不会更好一点？

[xuyige]

您好，感谢您对我们repo的兴趣。 我们之前并没有研究Embedding Layer的learning rate decay问题，您可以尝试一下将learning rate decay加到Embedding Layer上面。 现在的learning rate设置在https://github.com/xuyige/BERT4doc-Classification/blob/master/codes/fine-tuning/run_classifier_discriminative.py#L853 这一段落，可以将带embedding的参数加进groups里面