Joe Welson

I found an efficient implementation in [GreatX](https://github.com/EdisonLeeeee/GreatX), hope it helps you.

> > 我的实验结果是这样的，lora微调： 0.4670529755761953 0.49894855144855144 0.55351585129846 0.5553688147601193 0.5634696969696971 0.6320420851937882 0.5791721859418254 0.6105994321847981 0.620511885775044 0.6314630720323322 并且用第10轮的权重，仍然可以保持正常的沟通能力，测试的几个问题都能回答，但是ptv2我试了两个轮次，他连自己是谁都不知道了，根本没法用，测试精度大约是0.49（pt第二轮） 感谢你提供的脚本，这周组会又有救了 > > 现在用下面的方式可以加载成功， tokenizer = ChatGLMTokenizer.from_pretrained(args.model_dir) config = PeftConfig.from_pretrained(args.lora_checkpoint) model = AutoModel.from_pretrained(config.base_model_name_or_path, trust_remote_code=True).cuda() model =...