bloom_tuning

bloom_tuning copied to clipboard

使用zero stage 3,模型保存的不是hf直接可以from_pretrain()形式加载，而是几个.pt的分布式模型。该如何操作转化为hf格式的模型，或者如何训练后直接保存为可以直接加载的形式呢

2

global_step12645中模型保存为： zero_pp_rank_0_mp_rank_00_model_states.pt zero_pp_rank_1_mp_rank_00_model_states.pt zero_pp_rank_2_mp_rank_00_model_states.pt zero_pp_rank_0_mp_rank_00_optim_states.pt zero_pp_rank_1_mp_rank_00_optim_states.pt zero_pp_rank_2_mp_rank_00_optim_states.pt

zyg18181818

你好，请问怎么启用 offload_optimizer

2

youzihaha

如果想要进行多轮对话，要用什么样的对话模板呢

2

xxxxuee

裁剪词表

1

请问，您知道如何裁剪词表吗

yangliuIOC