evaluation中没有论文中C-Rec C-ERec A-Rel三个指标的代码

[benshan123]

您好，get_score.py没有实现C-Rec C-ERec A-Rel三个指标的计算，无法复现论文评估部分，能否添加一下

[LHRLAB]

您好，我们更新了评价指标（新指标为F1、R-S、G-E）并更新了论文，请参考：https://arxiv.org/abs/2503.21322。同时我们更新了评测代码，请参考：https://github.com/LHRLAB/HyperGraphRAG/tree/main/evaluation。

[benshan123]

好的，大佬，感激  

1594553945 @.***

 

------------------ 原始邮件 ------------------ 发件人: "Haoran @.>; 发送时间: 2025年5月25日(星期天) 下午2:58 收件人: @.>; 抄送: @.>; @.>; 主题: Re: [LHRLAB/HyperGraphRAG] evaluation中没有论文中C-Rec C-ERec A-Rel三个指标的代码 (Issue #4)

LHRLAB left a comment (LHRLAB/HyperGraphRAG#4)

您好，我们更新了参考指标（新指标为F1、R-S、G-E）并更新了论文，请参考：https://arxiv.org/abs/2503.21322。同时我们更新了评测代码，请参考：https://github.com/LHRLAB/HyperGraphRAG/tree/main/evaluation。

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

[LHRLAB]

因为大模型每次可能输出的结果有一定误差。

[benshan123]

您好，我们更新了评价指标（新指标为F1、R-S、G-E）并更新了论文，请参考：https://arxiv.org/abs/2503.21322。同时我们更新了评测代码，请参考：https://github.com/LHRLAB/HyperGraphRAG/tree/main/evaluation。

佬，我使用最新的代码复现出来的结果都没问题了，想问下evaluation中的评估数据集是table1的overall的吗？ 其它三种（Random Source、Single-Entity Source、Multi-Entity Source）是要怎么采样的，可以麻烦讲解一下吗？

[LHRLAB]

我们最新的采样只是分为了Binary、N-ary两种，可以参考一下文章Appendix D。