微调base模型时,在Sanity Check后出现checkpoint-None
System Info / 系統信息
python3.10 transformers4.36.2 torch 2.1.2 torchvision 0.16.2
Who can help? / 谁可以帮助到您?
No response
Information / 问题信息
- [ ] The official example scripts / 官方的示例脚本
- [ ] My own modified scripts / 我自己修改的脚本和任务
Reproduction / 复现过程
对chatglm3_base模型进行微调的时候,在调用./finetune_lora.sh后
其他都正常进行
然后出现这个后
就程序退出了
Expected behavior / 期待表现
期待可以正常进行微调
我也是这个问题,把finetune.py文件中的breakpoint()注释掉。但finetune出来的lora权重不知道用哪个,尝试了一遍,没看到lora的效果,量化加速也报错。
我也是这个问题,把finetune.py文件中的breakpoint()注释掉。但finetune出来的lora权重不知道用哪个,尝试了一遍,没看到lora的效果,量化加速也报错。
注释掉使用 11 万数据微调 1000 步就 4 分钟?基于 chatglm2-6b 的 ptuning 都需要 2 小时呢。
因为1000步只访问了1000个batch的数据啊,你batch size是1 那么一共就访问了1000个数据,跟你数据集数量无关,这个确实不合理
pdb 输入return
#253 在这里寻求帮助