Junpeng Yang

Results 3 issues of Junpeng Yang

![image](https://github.com/user-attachments/assets/196415a4-841d-4bce-afb6-bf16a16f1cb7) ![image](https://github.com/user-attachments/assets/b66f9dd5-7b7c-4b42-9542-1d3acca4aff2) 以上参数是否是最佳设置?我通过SVD-xt生成的视频质量较差

我如果想在dolly数据集上进行teacher:llama3-70b-instruct,student:llama3-8b-instruct。的蒸馏,是否需要修改某些代码逻辑或者dolly数据集的template?

我在4张A100上使用4卡模型并行训练,student是llama3-8b,teacher是llama3-70b,使用ds_config_zero2_offload运行成功时4张A100的GPU占用为47g/80g,在训练过程中会出现CUDA out of memory,请问如何解决这一问题 ![image](https://github.com/microsoft/LMOps/assets/44564089/bfec7496-ee78-4f9e-a2ba-09c090cca1c9)