请问CogVLM2是否支持多卡微调？

[wangdong1992]

Feature request / 功能建议

目前打算在V100 16G 4卡微调，但是报错，推理没有问题。 https://github.com/THUDM/CogVLM2/blob/main/finetune_demo/README_zh.md 根据教程，需要每张显卡显存大于57G，请问后面是否可以支持多卡微调？

Motivation / 动机

多卡微调

Your contribution / 您的贡献

无

[zRzRzRzRzRzRzR]

模型forward没有做zero3的适配，要自己改模型结构 另外， 57G微调的是语言模型，vit部分已经冻结了，是微调不了视觉模型的

[Sleepychord]

@zRzRzRzRzRzRzR 为啥非要zero3？

[zRzRzRzRzRzRzR]

@zRzRzRzRzRzRzR 为啥非要zero3？

zero2 只能做lm_head, vit的话80G显存不够，调不了，目测是微调代码可能还需要进一步优化

[tandakun]

大神，有计划未来给个能通过zeros3进行sft的模型和指南吗？我们算力内存8*16G

[zRzRzRzRzRzRzR]

我们在努力，但是目前这个模型微调的话需要的显存实在太大，8卡A100都没通

[tiandazhao]

模型forward没有做zero3的适配，要自己改模型结构 另外， 57G微调的是语言模型，vit部分已经冻结了，是微调不了视觉模型的

如何改模型结构来适配zero3呢，各位有没有好的办法？

[chensongcan]

我们在努力，但是目前这个模型微调的话需要的显存实在太大，8卡A100都没通

你好，请问当前的代码支持多机多卡训练吗

[zRzRzRzRzRzRzR]

不支持zero3，相关的修改我们还没改，支持多机多卡，但是每张卡需要70G以上显存

[chuangzhidan]

不支持zero3，相关的修改我们还没改，支持多机多卡，但是每张卡需要70G以上显存

【使用零冗余优化策略2（zero2）时，至少需要73GB的GPU内存，并且需要8个GPU。 】 是说lora zero2微调需要的显存为：73GB*8=584GB吗？并且还是在视觉模块冻结的情况下？

【····'labels_en') # or 'labels_zh' or 'labels' 可以自行修改】 这里如果是labels标识包括中英一起的？

谢谢 对了，我了解到的一位同学，没做结构代码调整，微调了模型，据我所知，他只有4*A100的算力资源

[supersteve2001]

Feature request / 功能建议

目前打算在V100 16G 4卡微调，但是报错，推理没有问题。 https://github.com/THUDM/CogVLM2/blob/main/finetune_demo/README_zh.md 根据教程，需要每张显卡显存大于57G，请问后面是否可以支持多卡微调？

Motivation / 动机

多卡微调

Your contribution / 您的贡献

无

hello，我目前正在用v100部署cogvlm2，可是输出稳定是：Floating point exception(core dumped)。之前在4090单卡上部署int4模型没有问题 我想请问您在v100部署时有无不同之处

[guyuchao]

如何改模型结构来适配zero3呢，大概需要改哪些东西。