HelixPark
HelixPark
请问，微调之后怎么测试和使用
> https://github.com/beyondguo/LLM-Tuning 里面有ChatGLM2-6B 应使用 chatglm2_lora_tuning.py 微调 同样同问题，我也是用的这套代码微调的，自己写了个自我介绍数据，推理发现没效果。但是模型结构是有lora的，目前用的1条或者几条数据，是不是数据量太小的问题？
> > 我把在chatglm-6b loRA微调后的模型移植到chatglm2-6b中，也没有得到想要推理结果，原来可是3万条数据集，推测应该不是数据量的问题。 既然有3w条数据，训练之后可以看一下你的loraA和B的权重，a和b是不是为0？可能是我数据太小，B还是保持初始全0矩阵，准备拿个大的数据试一下再。
推理代码如下： from peft import PeftModel from transformers import AutoTokenizer, AutoModel import torch device = torch.device(7) # 加载原始 LLM model_path = "/home/llm/ChatGLM2-6B/chatglm2-6b" model = AutoModel.from_pretrained(model_path, trust_remote_code=True).half().to(device) tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True) res1...
> 你微调的数据是咋样的？数据量多少？ 数据格式就是按照demo写的，量不是很多几十个；我和楼下的一样，训练之后loraB还全是0
> 一样没有微调效果 看来是共病，一步步查吧