MIND模型效果复现

Open ADCa97 opened this issue 3 years ago • 4 comments

MIND模型按照步骤使用全量的AmazonBook数据集，实际测试并没有达到README里标称的效果，有什么需要注意的地方吗？实验环境为python=3.9.7, paddlepaddle=2.2.2, cuda=10.2。

May 11 '22 05:05 ADCa97

收到，多谢反馈。这个问题应该是mind_reader.py中的seed引起的，我们预计近期修复这个问题

May 17 '22 06:05 yinhaofeng

我复线的效果是：recall@50: 0.00469, ndcg@50: 0.00823, hitrate@50: 0.01147, epoch time: 12.55 s

May 29 '22 09:05 yechenzhi

删掉随机种子就可以了，想蹭个pr https://github.com/PaddlePaddle/PaddleRec/pull/789

Jun 02 '22 11:06 yechenzhi

请问解决了没有呢？我这边复现的效果也只有recall@20: 0.00294, ndcg@20: 0.00420, hitrate@20: 0.00719，删掉了seed

Jul 30 '22 06:07 AlbusWei