fangyifei222

我训练之后的模型文件就是27G，我的数据集是问答对所以对训练脚本的数据处理做了一点修改，训练完得到的这个pt文件我转成了.bin格式的权重。我加载这个模型就会提示缺少configuration_baichuan.py这种文件，我把baichuan-2-13B的对应文件复制过来加载模型会提示部分权重未使用 -rw-rw-r-- 1 fyf fyf 4918199 Mar 6 10:00 bf16_zero_pp_rank_0_mp_rank_00_optim_states.pt -rw-rw-r-- 1 fyf fyf 4918199 Mar 6 10:00 bf16_zero_pp_rank_1_mp_rank_00_optim_states.pt -rw-rw-r-- 1 fyf fyf 13896988349 Mar 6 10:00 zero_pp_rank_0_mp_rank_00_model_states.pt -rw-rw-r-- 1...

我好像知道问题出在哪了，我想请问一下我用的是自制的数据集，是不是数据集的格式得跟data文件夹的示例数据格式相同，我的数据集格式是这种：{ "Question": "请问8端口OC-12c/STM-4c POS-SFP灵活插卡的尺寸(宽×深×高)分别是多少？", "Answer": "8端口OC-12c/STM-4c POS-SFP灵活插卡的尺寸(宽×深×高)分别是169mm × 189.9mm × 18.4mm。" }, { "Question": "请问4端口OC-3c/STM-1c POS-SFP 灵活插卡的典型散热值是多少？", "Answer": "4端口OC-3c/STM-1c POS-SFP 灵活插卡的典型散热值是275.8 BTU/hour。" },

好的，谢谢您

您好我想请问一下，我修改了fine-tune.py中的peft_config = LoraConfig( task_type=TaskType.CAUSAL_LM, target_modules=["W_pack"], inference_mode=False, r=1, lora_alpha=32, lora_dropout=0.1, )调整了r=8和 lora_alpha=16，但是训练结束后的模型加载报错 RuntimeError: Error(s) in loading state_dict for PeftModelForCausalLM: size mismatch for base_model.model.model.layers.0.self_attn.W_pack.lora_B.default.weight: copying a param with shape torch.Size([0]) from checkpoint,...

我用的fine-tune.py做的训练，cli_demo.py做的加载和推理，我用了AutoPeftModelForCausalLM来加载模型，之前默认的r=1 lora_alpha=32训练之后的模型可以正常加载，修改了这两个参数训练之后的模型就出现了尺寸问题

from transformers import AutoTokenizer from peft import AutoPeftModelForCausalLM from transformers import AutoModelForCausalLM, AutoTokenizer model_id = "/data/fyf/Baichuan2-main/fine-tune/outputr8a16-1" device = "cuda:0" model = AutoPeftModelForCausalLM.from_pretrained(model_id, trust_remote_code=True) model = model.to(device) model.eval() tokenizer = AutoTokenizer.from_pretrained(model_id,...

> > from transformers import AutoTokenizer from peft import AutoPeftModelForCausalLM from transformers import AutoModelForCausalLM, AutoTokenizer > > model_id = "/data/fyf/Baichuan2-main/fine-tune/outputr8a16-1" device = "cuda:0" model = AutoPeftModelForCausalLM.from_pretrained(model_id, trust_remote_code=True) > > model...

我用的是https://github.com/baichuan-inc/Baichuan2这个项目，您是百川的开发人员嘛QvQ

我运行了zero_to_fp32.py脚本得到了27G的pytorch_model.bin文件，并将config。json等文件复制过来，但是用脚本加载这个pytorch_model.bin文件非常缓慢并且报错。请问微调结束之后应该怎么做