Jhang
Results
2
comments of
Jhang
> 是的，CLUE的模型都没有保留mlm权重，不知为何。 > > 最新版的bert4keras，你可以在`build_transformer_model`的时候传入`ignore_invalid_weights=True`来忽略这个错误。 感谢苏神。 如果 pretraining 选择 ```ignore_invalid_weights=True``` 是通过用随机数值代替缺失的权重吗？这种方式继续预训练后的模型应该比保留 mlm 的权重的模型效果要差吧？
> model.save_weights保存下来的并不是原版bert的格式，原则上用bert-as-service是没法加载的。 谢谢苏神，bert-as-service 可能处于巧合成功加载了，那有没有什么方式可以保存成原版 bert 的格式。