acadaiaca
acadaiaca
> 你尝试直接用我的镜像试试 > > ``` > docker pull beader/tensorflow:nightly-gpu-py3-jupyter > ``` 您好，直接使用镜像运行model1的代码，同样在载入模型load_trained_model_from_checkpoint这步出现了相同的报错：AttributeError: 'tuple' object has no attribute 'layer' 查阅了一下说是tf.keras和tf混用，可能是环境版本问题 tensorflow-gpu==1.14 keras==2.2.4 keras-bert==0.68.1
@beader 非常感谢！目前问题已经解决，通过直接拷贝其他人能成功复现代码的环境包。该环境问题大概率是后来keras2.24经过改版之后造成与tf不兼容。
@lgc1462 你好，请问你安装环境也遇到相同问题了吗，keras_bert包的问题？可以发你，给我你的邮箱
> > I met the same error. I tried to pre-train with 25GB korean corpus data using example/run_clm.py. I haven't tested it in an environment not using DDP yet, but...
同问，尝试了0.8.3版本的deepspeed有这个报错，然后降级到了0.8.2版本，还是有同样的报错
能否用GLM的pretrain代码和finetune代码来做CahtGLM的continue pretrain和finetune？ https://github.com/THUDM/GLM/blob/main/pretrain_glm.py https://github.com/THUDM/GLM/blob/main/finetune_glm.py
同问，请问解决了吗？照搬pretrain_glm.py不太成功
@mymusise 是否可以将input设为纯文本，output设为空，用这个方式来对纯文本做微调？
> 需要我加上么？其实也挺简单的～ 如果大佬愿意加上那更好了之前Lora微调chatglm就是用的大佬的代码，好使
期待你们的工作！希望能早日开源权重，体验到模型的惊艳效果！