Atakey
Atakey
将 os.environ['RECOMPUTE'] 无论设置为0还是1，训练速度 均没有出现明显差异，例如当前模型代码下同样的 batch_size, tf2.1 + keras 采用recompute_grad 比未采用重计算训练速度大约慢20%左右
> 环境 > tensorboard 1.14.0 > tensorflow 1.14.0 > tensorflow-estimator 1.14.0 > Keras 2.3.1 > Keras-Applications 1.0.8 > keras-nightly 2.5.0.dev2021032900 > Keras-Preprocessing 1.1.2 > bert4keras 0.10.6 > > 然后执行 >...
> 曾经探索过，还未成功。后面我再尝试尝试。 将layers文件中继承Layer类的所有调用self.add_weight 方法的地方增加参数 dtype=self.dtype 在tf2.1-2.3版本测试可以开启混合精度训练，不过好像部分模型会出现loss为nan就是了
I have the same request features.