你可是处女座啊
你可是处女座啊
@hanzha2024 可以留一个邮箱
@smithlai 可否提供一下环境中torch、transformers的版本以及所使用模型的信息呢？
@smithlai 我这边测试了下，发现是Transformers 4.43.0版本中引入了一个新的特性导致的，但是具体会发生在哪些模型上并不确定，目前我这边了解到的解决方案有以下几种，可以试试看 - 降低transformers的版本，实测`4.42.4`没问题 - 训练参数中设置`save_safetensors=False` - 修改Bert模型的源码，在`BertPreTrainedModel`类中加入`_supports_param_buffer_assignment = False`