M3FEND icon indicating copy to clipboard operation
M3FEND copied to clipboard

论文中table8中的数据是怎么得到的呢

Open qiljj opened this issue 3 years ago • 8 comments

运行f3mend出现以下问题: b6a44842c1cb7a6da07995c0012ef77 我把nn.liner那里的参数用int()强制转换也出错 3c866d8ff203550d6db20220d01379e b6a44842c1cb7a6da07995c0012ef77 nn.linear接受的应该是int类型的参数,但是mlpdim还有lnndim这两个好像它识别的是str类型的,所以导致出现了错误(这个是我自己的理解)

qiljj avatar Feb 05 '23 08:02 qiljj

我确认在我这跑没有问题,不太清楚为什么你的机器上会出这个问题。

easezyc avatar Feb 06 '23 09:02 easezyc

已解决~感谢回复

---原始邮件--- 发件人: "Yongchun @.> 发送时间: 2023年2月6日(周一) 下午5:45 收件人: @.>; 抄送: @.@.>; 主题: Re: [ICTMCG/M3FEND] 数据类型问题 (Issue #2)

我确认在我这跑没有问题,不太清楚为什么你的机器上会出这个问题。

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

qiljj avatar Feb 06 '23 09:02 qiljj

前辈,我仔细研读了您的该论文,我想请问您我的理解对吗?table8中前9列平均F1值=通过连续跑10次然后取各个领域的F1-score的平均值。第二个问题就是table8 后三列(overall)F1 Acc AUC数值是怎么计算得到的呢? image

qiljj avatar Mar 10 '23 06:03 qiljj

补充一个问题:在消融实验中,您提到了table10 ,在论文中显示是总体F1评分,我也不太明白这个数值是怎么得到的,方便讲解一下吗? image

qiljj avatar Mar 10 '23 06:03 qiljj

overall不是前面几列取平均,而是样本级别的平均(micro),简单说就是不区分领域标签,所有样本直接算指标。

easezyc avatar Mar 10 '23 07:03 easezyc

好,已明白。您在文中提到:We record average results over ten runs. We report accuracy (Acc), macro F1 score (F1), and Area Under ROC (AUC).所有的数据您是连续跑了十次,每跑一次不是得到一个最优模型嘛,那您的意思是跑10次,得到10个最优模型和10个best metric,你是将跑10次的best metric取平均了吗?(还是说就取一次best metric就行) 这个问题有点困扰我,希望得到您的回复

qiljj avatar Apr 04 '23 03:04 qiljj

上面问题的意思就是:您是连续跑了10次同一个模型吗?or 只跑一次,取最好的结果

qiljj avatar Apr 04 '23 04:04 qiljj

跑十次平均

easezyc avatar Apr 06 '23 05:04 easezyc