VLMEvalKit icon indicating copy to clipboard operation
VLMEvalKit copied to clipboard

关于AI2D评测是否有mask的问题问题

Open Super-Shen opened this issue 1 year ago • 0 comments

我在论文里https://arxiv.org/abs/2412.05271这篇论文里注意到AI2D有两个评价分数,分别是w M(with mask) 和 wo M(without mask)。 请教一下, internvl模型在AI2D上的评测是否采用和vlmevalkit同样的方法,在图片中加入选项的字母?这种方式对应with mask 和 without mask的哪一种? 感谢对开源工作的贡献,期待解答。

Super-Shen avatar Feb 11 '25 08:02 Super-Shen