hflserdaniel
Results
1
issues of
hflserdaniel
非常感谢您在huggingface上的贡献！ 在我的项目中，我尝试利用transformers/example/pytorch/language_modeling中的mlm脚本对RoFormer继续在领域文本上预训练，但是预训练后的表现出现下降的问题。作为对比，对roberta继续预训练能够得到提升。 可以请教下具体的原因嘛？是否和脚本中调用的AutoModelForMaskedLM有关？ 再次感谢！