Siberiamark
Siberiamark
> > > > > 目前还不直接支持 megatron，仅支持 DeepSpeed > > > > > > > > > > > > @hiyouga 能出一个使用DeepSpeed进行多机多卡训练的教程吗？ > > > > > > > >...
可能最近服务器都拿去跑glm4了233
解决了？
我测出来和你的结果差不多，可能官方的system prompt有区别或者genConfig里面其他参数调优了
Similar issue with following environments: ``` transfermers 4.42.4 AutoAWQ 0.2.6+cu118 AutoAWQ_Kernels 0.0.6+cu118 ``` loading with device_map auto ``` model = AutoAWQForCausalLM.from_pretrained(config.model_path, device_map="auto", safetensors=True) ``` error solved by specifying device ```...