Gary comments

Repositories
Issues
Comments

Results 2 comments of


                                            Gary

使用zero stage 3,模型保存的不是hf直接可以from_pretrain()形式加载，而是几个.pt的分布式模型。该如何操作转化为hf格式的模型，或者如何训练后直接保存为可以直接加载的形式呢

![{C6840EA0-4D6B-4e8d-81AA-FC3997701526}](https://github.com/zejunwang1/bloom_tuning/assets/77476568/ee1348b6-ddcf-4c2f-9350-a5e9ea598ec2)

使用zero stage 3,模型保存的不是hf直接可以from_pretrain()形式加载，而是几个.pt的分布式模型。该如何操作转化为hf格式的模型，或者如何训练后直接保存为可以直接加载的形式呢

查看了一下log，可能是因为最后保存模型时报错：UserWarning: Positional args are being deprecated, use kwargs instead. Refer to https://pytorch.org/docs/master/generated/torch.nn.Module.html#torch.nn.Module.state_dict for details.