euler icon indicating copy to clipboard operation
euler copied to clipboard

请问无监督时mrr(Mean Reciprocal Rank)指标是怎么得到的?这个rank是指什么排序

Open chriskeke95 opened this issue 5 years ago • 6 comments

不太理解这里的排序是指什么 image

chriskeke95 avatar May 14 '20 03:05 chriskeke95

MRR(Mean reciprocal rank)是一个国际上通用的对搜索算法进行评价的机制,即第一个结果匹配,分数为1,第二个匹配分数为0.5,第n个匹配分数为1/n,如果没有匹配的句子分数为0。最终的分数为所有得分之和 无监督学习的目标就是正例要尽可能排在负例的前面,所以mrr是一个很好的选择

alinamimi avatar May 14 '20 03:05 alinamimi

MRR(Mean reciprocal rank)是一个国际上通用的对搜索算法进行评价的机制,即第一个结果匹配,分数为1,第二个匹配分数为0.5,第n个匹配分数为1/n,如果没有匹配的句子分数为0。最终的分数为所有得分之和 无监督学习的目标就是正例要尽可能排在负例的前面,所以mrr是一个很好的选择

嗯嗯 想请问一下这里的正例和负例排序怎么排的。正例是指有边连接的节点,负例是无边的节点,是直接计算节点embedding之间的相似度来排序的吗?

chriskeke95 avatar May 14 '20 03:05 chriskeke95

正例是一般选有边连接的节点,负例全局采样。可以用相似度或者其他的算法,mrr是对结果进行排序后算的值

alinamimi avatar May 14 '20 05:05 alinamimi

正例是一般选有边连接的节点,负例全局采样。可以用相似度或者其他的算法,mrr是对结果进行排序后算的值

请问算mrr的时候是否考虑了edge的权重

teamaster1 avatar May 22 '20 07:05 teamaster1

没有

alinamimi avatar May 22 '20 09:05 alinamimi

MRR(Mean reciprocal rank)是一个国际上通用的对搜索算法进行评价的机制,即第一个结果匹配,分数为1,第二个匹配分数为0.5,第n个匹配分数为1/n,如果没有匹配的句子分数为0。最终的分数为所有得分之和 无监督学习的目标就是正例要尽可能排在负例的前面,所以mrr是一个很好的选择

这里换成auc是不是类似?

wsnooker avatar May 25 '20 06:05 wsnooker