FastGPT icon indicating copy to clipboard operation
FastGPT copied to clipboard

知识库检索大bug

Open histronger opened this issue 1 year ago • 2 comments

例行检查

  • [x ] 我已确认目前没有类似 issue
  • [x ] 我已完整查看过项目 README,以及项目文档
  • [x] 我使用了自己的 key,并确认我的 key 是可正常使用的
  • [x] 我理解并愿意跟进此 issue,协助测试和提供反馈
  • [x] 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的 issue 可能会被无视或直接关闭

你的版本

  • [ ] 公有云版本
  • [x] 私有部署版本, 具体版本号:

问题描述, 日志截图 检索词为【上海交通大学】,会把包含上海的、包含交通的、包含大学的条目都检索出来,使用的检索方式是【全文检索】,无法实现精确检索。 复现步骤 检索词为“上海交通大学”,会把包含上海的、包含交通的、包含大学的条目都检索出来,使用的检索方式是【全文检索】,无法实现精确检索。 预期结果 精确检索结果,只检索出包含【上海交通大学】的条目 相关截图

histronger avatar Sep 25 '24 07:09 histronger

得自己定义分词库,上海交通大学的分词是:上海 交通 大学

c121914yu avatar Sep 26 '24 03:09 c121914yu

得自己定义分词库,上海交通大学的分词是:上海 交通 大学

大佬,在哪里定义自己的分词库呢

2277419213 avatar Oct 16 '24 02:10 2277419213

得自己定义分词库,上海交通大学的分词是:上海 交通 大学

大佬,在哪里定义自己的分词库呢

FastGPT/packages/service/common/string/jieba.ts 使用了 node-jieba 库,可以设置自定义分词,但是需要自己二次开发,挂分词库。 后续可能考虑做成每个知识库特有的方式,不过还没明确。

c121914yu avatar Oct 29 '24 07:10 c121914yu