ChatGLM3 icon indicating copy to clipboard operation
ChatGLM3 copied to clipboard

微调base模型时,在Sanity Check后出现checkpoint-None

Open gms5144 opened this issue 2 years ago • 3 comments

System Info / 系統信息

python3.10 transformers4.36.2 torch 2.1.2 torchvision 0.16.2

Who can help? / 谁可以帮助到您?

No response

Information / 问题信息

  • [ ] The official example scripts / 官方的示例脚本
  • [ ] My own modified scripts / 我自己修改的脚本和任务

Reproduction / 复现过程

对chatglm3_base模型进行微调的时候,在调用./finetune_lora.sh后 其他都正常进行 然后出现这个后 image 就程序退出了

Expected behavior / 期待表现

期待可以正常进行微调

gms5144 avatar Dec 28 '23 07:12 gms5144

我也是这个问题,把finetune.py文件中的breakpoint()注释掉。但finetune出来的lora权重不知道用哪个,尝试了一遍,没看到lora的效果,量化加速也报错。

haozaiiii avatar Dec 28 '23 09:12 haozaiiii

我也是这个问题,把finetune.py文件中的breakpoint()注释掉。但finetune出来的lora权重不知道用哪个,尝试了一遍,没看到lora的效果,量化加速也报错。

注释掉使用 11 万数据微调 1000 步就 4 分钟?基于 chatglm2-6b 的 ptuning 都需要 2 小时呢。 image

gree2 avatar Dec 28 '23 10:12 gree2

因为1000步只访问了1000个batch的数据啊,你batch size是1 那么一共就访问了1000个数据,跟你数据集数量无关,这个确实不合理

zRzRzRzRzRzRzR avatar Dec 28 '23 14:12 zRzRzRzRzRzRzR

pdb 输入return

mengdexing avatar Dec 29 '23 07:12 mengdexing

#253 在这里寻求帮助

zRzRzRzRzRzRzR avatar Dec 29 '23 13:12 zRzRzRzRzRzRzR