微调Wan2.1 14B文生视频要求显存太高了

[tppqt]

又慢显存占用又高，能不能把deepspeed 改到offload到cpu啊

[Artiprocher]

@tppqt 我们其实是支持 deepspeed 的，把 training strategy 参数改了就行，但会更慢。目前的主要问题是模型对于精度非常敏感，所以中间有些变量是要以 float32 精度存储和计算的，这在训练时导致显存占用极高。我们需要重构整个模型结构才能解决这一问题。