Lxr713
Results
2
comments of
Lxr713
> thanks!
> > 目前使用官方提供的p-tuning方案在羊驼52k中文数据上微调，出来的效果直接影响到原始的模型本来回答很好的内容，52K中文数据的回答也不尽人意，不知道在微调方面是不是还有什么技巧。目前有调整的是文本的输入输出长度，其他的跟官方给的参数一致。 > > 我认为这个是正常的，原因同楼上 @songxxzp 所说，p-tuning更适合某个专一领域任务（比如举例的角色扮演），这里羊驼52k某种程度上还是一种open domain的QA，此时lora方式会更合适点 您说的有道理，智谱AI之前有过一篇对ChatGLM的报告，使用ptuning方法微调模型，训练数据超过1000条就会完全破坏原来的对话能力，而官方给的AdvertiseGen训练集足足有114600条。我用ptuning v2微调了ChatGLM2，把数据集删到100条，就基本上可以正常对话，但4bit精度加载的时候还是有影响