Nomothings

Hello author! Thank you very much for your contribution! I came across your paper and now I would like to dive into the following experiments, but I am a novice,...

如何进行图像-文本通过CLIP嵌入在同一Embedding空间进行测试？

4

## 功能描述 / Feature Description 您好，现在我在评测多模态RAG的检索和生成时遇见了问题： 我们的数据集模态多样，既有文本(text)，也有图像(image)，现在想构建image_queries.jsonl的时候发现，该queires构建只能为： 纯文本：queries.jsonl 纯图像：image_queries.jsonl 但是对于图像、文本混合的并没有涉及到检索方式。（事实上这很容易，因为CLIP能够实现图像、文本嵌入到同一空间） ## 需求背景 / Background 我们新的工作引用到了您的评测工具和方法，但是无法在关键实现：混合数据下的RAG。因此希望您能更新方法，或者提供混合检索评测的queries.jsonl构建 ## 预期行为 / Expected Behavior 这个功能可以混合图像、文本，比如： {"_id": "doc4", "text": "随着技术的进步，风能和太阳能等可再生能源变得越来越普及。"} {"image_path": "custom_eval/multimodal/images/AMNH.jpg", "query": ["building"]} 然后可以自动进行评测...