张俊义
张俊义
@IzzetYoung Does it support for LLaMA now?
> 这个我问过transformers那边了，说目前deepspeed不支持4bit/8bit训练，所以目前只能ddp，zero optimization应该都是不行的 在哪问的。链接发一下可以吗
> 目前qlora暂时不能结合deepspeed训练，需要用torchrun启动脚本 torchrun启动脚本指的是什么？
I want to konw too.