MMMU和MathVista在gpt-4o的结果

[kydxh]

想请问下MMMU和MathVista上是怎么设置的prompt得到的69.9 | 62.7的结果（GPT-4o-20240806）？因为我在让模型直接回答问题时获得的结果远低于这两个数值，在用上COT之后才能接近，但是看起来在[VLMEvalKit]中并没有使用COT？或者除了prompt设置有其他单独的设置？

[Violettttee]

想请问下MMMU和MathVista上是怎么设置的prompt得到的69.9 | 62.7的结果（GPT-4o-20240806）？因为我在让模型直接回答问题时获得的结果远低于这两个数值，在用上COT之后才能接近，但是看起来在[VLMEvalKit]中并没有使用COT？或者除了prompt设置有其他单独的设置？

https://github.com/open-compass/VLMEvalKit/issues/702 我也问过这个问题..但是我看回复文件里面4o的明显是有cot的（如果指令中没有直出的要求的话，4o走cot可能是因为system prompt）

[palewithout]

同问，遇到了一样的问题，官方回复文件的prediction比我跑出来的长很多，看起来有cot的样子

想请问下MMMU和MathVista上是怎么设置的prompt得到的69.9 | 62.7的结果（GPT-4o-20240806）？因为我在让模型直接回答问题时获得的结果远低于这两个数值，在用上COT之后才能接近，但是看起来在[VLMEvalKit]中并没有使用COT？或者除了prompt设置有其他单独的设置？

#702 我也问过这个问题..但是我看回复文件里面4o的明显是有cot的（如果指令中没有直出的要求的话，4o走cot可能是因为system prompt）

[PhoenixZ810]

您好，在我们的实践中，对于GPT4o而言，一般我们使用MMMU的默认prompt设置。这种情况下，即便不刻意添加CoT prompt，GPT4o也会生成带有CoT格式的回答。