CogVLM2 icon indicating copy to clipboard operation
CogVLM2 copied to clipboard

是否支持全参微调?

Open WuChannn opened this issue 1 year ago • 2 comments

现在放出的微调接口是Lora微调的,是否可以在训练资源充足的情况下进行全参微调呢?是不是注释掉

peft_lora.py中的model = get_peft_model(model, peft_config),就可以了?

WuChannn avatar Aug 15 '24 07:08 WuChannn

全参微调现在的环境带不动,这个方案带不动全参,显存不够

zRzRzRzRzRzRzR avatar Aug 17 '24 03:08 zRzRzRzRzRzRzR

我这边资源应该是够的,所以是不是注释掉peft_lora.py中的model = get_peft_model(model, peft_config),就可以了?

WuChannn avatar Aug 18 '24 03:08 WuChannn