WebGLM icon indicating copy to clipboard operation
WebGLM copied to clipboard

LLM-augmented Retriever中的 label 问题

Open dongxqm opened this issue 2 years ago • 1 comments

您好,请问在原论文中提到在使用 LLM 增强 contriever 的时候的训练 label 是 Rouge-1 的准确率吗?但是我看源码loss 的正负样本 label 是0,1呢?开放的源码不全吗?

 “Therefore, the labels we use for training are the Rouge-1 precision scores of a query-reference pair.”

dongxqm avatar Jun 25 '23 09:06 dongxqm

感谢指出!我们在论文中报告的结果是使用 Rouge-1 Score 作为 label 训练的 retriever,后来我们发现用对比学习的方式效果会更好,于是就采用这种方案了,repo 中的代码也是该训练方案。

Longin-Yu avatar Jun 26 '23 12:06 Longin-Yu