请问megatron啥时候可以整合进来

Open laiqinghan opened this issue 1 year ago • 2 comments

Apr 11 '24 09:04 laiqinghan

下个迭代会支持megatron+deepspeed做大规模预训练

Apr 12 '24 03:04 tastelikefeet

下个迭代会支持megatron+deepspeed做大规模预训练

大约啥时间呢，有大约的时间点吗，最近对这个需求比较迫切

Apr 12 '24 08:04 laiqinghan

最近有这方面进展吗

May 23 '24 01:05 laiqinghan

anyboby ^ ^ V

May 29 '24 03:05 laiqinghan

同求

Aug 07 '24 06:08 jhrsya