VLMEvalKit icon indicating copy to clipboard operation
VLMEvalKit copied to clipboard

超过1GB的TSV数据集无法将image字段中的图像编码保存下来

Open ttguoguo3 opened this issue 1 year ago • 1 comments

在tsv转换成local tsv文件中,image字段会被丢弃,而没有进行保存

ttguoguo3 avatar Aug 11 '24 02:08 ttguoguo3

也就是无法将tsv中的图像编码保存为本地的图片

ttguoguo3 avatar Aug 11 '24 02:08 ttguoguo3

Hello,请问有具体的问题吗? 我们的设计是:对于大于 1G 的 TSV 文件,在初始化数据集时进行图片保存,并生成 _local.tsv (只需包含保存后的图像路径即可)。这样应该是可以正常 work,并减小评测时内存占用。

kennymckormick avatar Aug 19 '24 13:08 kennymckormick