chatglm_tuning

chatglm_tuning copied to clipboard

我有个问题，为什么要必须model.half()，要不然就会报错expected scalar type Half but found Float

haizeiwanglf

多卡训练占用显存

1

我在精度为fp16的情况下，单卡微调训练占用16G显存，使用多卡训练，则需要两个16G显存，但我的理解中，多卡训练时，所需的16G显存平均分到每张卡上，每张卡只占用8G显存。请问问题出在哪里了呢 单卡： 多卡：

nilin1998

使用demo中训练后的Lora模型，结果出现大量重复

3

加载项目中的output/adgen-chatglm-6b-lora模型，运行cli_demo.py，结果中出现了大量重复语句，如图： 

nilin1998

两种方式的结果对比

1

问下，有没有更详细一点的结果对比实验？

zlszhonglongshen