KickyGong

Results 5 comments of KickyGong

微调时报错，FileNotFoundError: No such file or directory: './sft_data/train.jsonl'

> > > @lhtpluto 282 脚本是什么东西？ > > > > > > 里面有个.py程序，执行后可以生成sft的训练数据 > > @lhtpluto > > https://github.com/OpenLMLab/MOSS/blob/4ab9c7874f5251135ccc19b5b2e1470c6b53a628/finetune_moss.py#L282 > > 啊？哪个文件 不是第282行啦，是说这个讨论区里编号282的问题https://github.com/OpenLMLab/MOSS/issues/282

复现moss_cli_demo.py已经下载过moss-moon-003-sft，微调时运行run.sh时重复下载模型，但是找不到模型存储的路径

在/home/[你的用户名]/.cache/huggingface/hub/models--[模型名]/snapshots/[一串编码]/

请教 RuntimeError: `<class 'models.quantization.QuantLinear'>' was not properly set up for sharding by zero.Init(). A subclass of torch.nn.Module must be defined before zero.Init() where an instance of the class is created.

我也遇到了这个问题，想训练量化模型但报错，请问你解决这个问题了吗？

请教 RuntimeError: `<class 'models.quantization.QuantLinear'>' was not properly set up for sharding by zero.Init(). A subclass of torch.nn.Module must be defined before zero.Init() where an instance of the class is created.

> 嗯，我这里解决了，是把run.sh里面--model_name_or_path这行改成本地地址的时候没在前面加 > > `./` > > 加上了就好了。。。 哇，所以可以单卡训练量化模型是吗？请问一下你训练的是哪个量化模型呢，用的卡是什么？

AttributeError: 'NoneType' object has no attribute 'deepspeed_config'

我也遇到了同样的问题，除了存储路径之外没动别的参数。会不会是某些包的版本的问题？