VisualGLM-6B
VisualGLM-6B copied to clipboard
THUDM
微调需要多大的显存？
运行微调文件，bash finetune/finetune_visualglm.sh，总是报错CUDA out of memory. 。总共4张卡，单卡11G的显存。看了一下，他这里好像只能单卡训练，能否改成多卡训练。另外采用lora方式按理说对显卡内存要求不高啊。之前int4单卡训练chatglm，单卡10G以内足够了.这个visual glm采用lora听别人讲需要30G以上，为啥要求这么高？是因为没有采用int4吗？那该怎么调整？
您好，更新了readme和微调脚本，可以使用bash finetune/finetune_visualglm_qlora.sh，单卡10G是足够的。
我的batch_size调成1了，15G/张卡，共2张，为什么还是报CUDA out of memory呢
请问有办法解决吗？我两张16g的显卡，也是显存不够
lora的话想减小显存可以考虑减小batch size，batch size=1只需要18G显存。
lora微调怎么指定卡号呢，我有六张卡每一张都是24G，我看运行的时候是默认占用所有的显卡，我只想用其中一张可以吗，如果可以的话应该怎么设置呢
