yangliuIOC
yangliuIOC
应该是 加入 你想要的数据进入数据集,他是微调的,以前的知识保留的比较少,
> @songsa1 推荐友情链接里的 chatglm-tuning 请问,你用过lora跑过 这个广告数据集么,
我的意思是,reward model 是hf训练出来的, 而不是sft 训练出来的。
lora 开大, 要不 他老嘴硬,在家丰富的数据
其实 ,这就类似于用 sber进行召回,在排序,再用glm问答,感觉 主要是在召回这里 和排序,怎么能够更加准确,
我看您直接去的第一列【:,0】,但是我用了 meanpooling 效果比这个要差。。
我发现很多召回的句子里有问题的答案,也回答不出来了。,。。 不知道是不是因为您对text2chatglm 这里面的都已经去除标点符号了,加上了换行。