FastGPT icon indicating copy to clipboard operation
FastGPT copied to clipboard

上传知识知识库,第一次没报错,后续超过一定大小都报错

Open lxb0425 opened this issue 1 year ago • 11 comments

例行检查

  • [x] 我已确认目前没有类似 issue
  • [x] 我已完整查看过项目 README,以及项目文档
  • [x] 我使用了自己的 key,并确认我的 key 是可正常使用的
  • [x] 我理解并愿意跟进此 issue,协助测试和提供反馈
  • [x] 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的 issue 可能会被无视或直接关闭

你的版本 4.7.1 私有部署版本, 具体版本号: 4.7.1

问题描述 上传知识知识库,第一次没报错,后续超过一定大小都报错,看着是mongo的问题 复现步骤

预期结果 希望可以正常上传20M以上的文件内容 相关截图 image Uploading image.png…

lxb0425 avatar Apr 18 '24 08:04 lxb0425

一千多万行?会不会是你数据太多了

lijiajun1997 avatar Apr 18 '24 10:04 lijiajun1997

那不是一千多万行 是17M左右, 几百kb或者几M的都可以 ,报错的文件是28M

lxb0425 avatar Apr 18 '24 10:04 lxb0425

27M csv 没遇到问题?

image

image

c121914yu avatar Apr 18 '24 10:04 c121914yu

那我这个真是见鬼了啊 之前也传上去过一个200多M和20几M的 现在就不行了 image image

lxb0425 avatar Apr 18 '24 10:04 lxb0425

那我这个真是见鬼了啊 之前也传上去过一个200多M和20几M的 现在就不行了 image image

可能得 debug 或者看看日志,具体是哪个语句。

c121914yu avatar Apr 18 '24 10:04 c121914yu

fastgpt 报的的错误 mongo没报错 感觉看不出啥 image

lxb0425 avatar Apr 18 '24 10:04 lxb0425

fastgpt 报的的错误 mongo没报错 感觉看不出啥 image

能发下数据集?迟点本地试试

c121914yu avatar Apr 18 '24 10:04 c121914yu

可以的 而且我刚试了下 txt也是这个错 感觉都没到mongo 在上传阶段就报了这个错 drug的副本.csv

限制上传25M 我删掉了几条 问的gpt image

lxb0425 avatar Apr 18 '24 10:04 lxb0425

可以的 而且我刚试了下 txt也是这个错 感觉都没到mongo 在上传阶段就报了这个错 drug的副本.csv

限制上传25M 我删掉了几条 问的gpt image

csv 表格导入的方式?还是分段导入

c121914yu avatar Apr 18 '24 12:04 c121914yu

image image 这两种都试过 然后看了下mongo数据库 文件已经传上去了 好像是解析的问题 image

lxb0425 avatar Apr 18 '24 12:04 lxb0425

第一步是完成的吧 image

而且刚才又发现一个特点 pdf是可以的 txt csv不行

lxb0425 avatar Apr 18 '24 12:04 lxb0425