FastGPT icon indicating copy to clipboard operation
FastGPT copied to clipboard
verified publisher icon labring

RAG准确率实在堪忧

Open laugherxiao opened this issue 11 months ago • 7 comments

测试了几个手册型PDF，准确率几乎为0？尝试了不同的模型和chunking方式，依然无法检索出答案。

laugherxiao avatar Feb 19 '25 14:02 laugherxiao

还行一般般，HotpotQA 数据集上最简单的模式跑分结果~ 要么是你配置有问题，要么是你手册都是图片之类的, 0% 不至于，起码知识密集型的问答不会太差。

Image

c121914yu avatar Feb 19 '25 14:02 c121914yu

@c121914yu 请问为啥语义检索得分更高的片段的综合排名低于前一个？

Image

omega-leo avatar Feb 19 '25 14:02 omega-leo

@c121914yu 请问为啥语义检索得分更高的片段的综合排名低于前一个？

Image

问题优化会有 3-5 个检索词进行综合排名，这里只显示一个最高得分。

c121914yu avatar Feb 19 '25 14:02 c121914yu

还行一般般，HotpotQA 数据集上最简单的模式跑分结果~ 要么是你配置有问题，要么是你手册都是图片之类的, 0% 不至于，起码知识密集型的问答不会太差。

Image

是的，手册时图片格式的，FastGPT还不支持OCR吗？

laugherxiao avatar Feb 20 '25 00:02 laugherxiao

还行一般般，HotpotQA 数据集上最简单的模式跑分结果~ 要么是你配置有问题，要么是你手册都是图片之类的, 0% 不至于，起码知识密集型的问答不会太差。

Image

是的，手册时图片格式的，FastGPT还不支持OCR吗？

内置解析器不支持，需要配置自定义 pdf 解析器。可以参考文档里的 marker。

c121914yu avatar Feb 20 '25 01:02 c121914yu

还行一般般，HotpotQA 数据集上最简单的模式跑分结果~ 要么是你配置有问题，要么是你手册都是图片之类的, 0% 不至于，起码知识密集型的问答不会太差。

Image

是的，手册时图片格式的，FastGPT还不支持OCR吗？

内置解析器不支持，需要配置自定义 pdf 解析器。可以参考文档里的 marker。

c121914yu avatar Feb 20 '25 01:02 c121914yu

maker中默认ocr也没有打开，这个应该如何配置？

waveman800 avatar Feb 25 '25 05:02 waveman800

maker中默认ocr也没有打开，这个应该如何配置？

你现在集成Marker不报错吗？我目前是4.9版本，实际在上传文档后调用Marker解析时一直报错

LHMiles avatar Mar 10 '25 08:03 LHMiles