qiucen
Results
3
comments of
qiucen
> --num_gpus=1 这里应该设置成2
> > > > > > > > > 你好，就是按照经典的深度学习流程， 'model_engine， optimizer， _， _ = deepspeed.initialize（config=conf， model=model， model_parameters=model.parameters（） ） > > model_engine.火车（） > > ... > > 输出 = model_engine.转发（input_ids=input_ids，标签=标签）...
> > > > > > https://github.com/microsoft/DeepSpeedExamples 可以参考deepspeed官网示例 > > 有可以直接run的版本嘛？ 这个库的rlhf step1就是微调，你可以参考一下，我最近在做rlhf，可能后续我会整理成更简单的版本库