FastGPT icon indicating copy to clipboard operation
FastGPT copied to clipboard
verified publisher icon labring

csv上传到表格数据集，部分数据一直在索引中

Open arbitraryking opened this issue 1 year ago • 4 comments

例行检查

  • [x] 我已确认目前没有类似 issue
  • [x] 我已完整查看过项目 README，以及项目文档
  • [x] 我使用了自己的 key，并确认我的 key 是可正常使用的
  • [x] 我理解并愿意跟进此 issue，协助测试和提供反馈
  • [x] 我理解并认可上述内容，并理解项目维护者精力有限，不遵循规则的 issue 可能会被无视或直接关闭

你的版本

  • [ ] 公有云版本
  • [x] 私有部署版本, 具体版本号: fastgpt:v4.8.9

问题描述, 日志截图

image fastgpt日志： image one-api日志： image

复现步骤 1、在本地测试和部署所使用镜像完全相同，测试时全部csv的内容都正常加载了，唯一差别是测试时知识库设置的文件处理模型是qwenv2-32k，部署时使用智谱glm-4-plus，这会有影响吗？但是oneapi日志中没有关于大模型的请求。 2、我删除了一些一直卡在索引中的csv文件，重新上传，会加载一些数据，但是还是有部分在索引中 预期结果

相关截图

arbitraryking avatar Sep 25 '24 05:09 arbitraryking

csv已经处理好了的，第一列是用户问题，第二列是答案，用glm-4-plus后最后存储的辅助数据与原来的第二列有差异，甚至部分直接跳过了，用qewn-v2-32k就没有问题，文件处理模型是必用吗？ image image

arbitraryking avatar Sep 25 '24 06:09 arbitraryking

导数据不需要 LLM，只需要 embedding 模型

c121914yu avatar Sep 26 '24 03:09 c121914yu

导数据不需要 LLM，只需要 embedding 模型

我测试了两次，csv文件分别上传到不同的知识库，只有文件处理模型不一样，一次是正常的，另一次加载到知识库里的内容被修改了，不是我原始csv里的数据。导数据不需要 LLM，那这里选择的大模型是做什么的呢。

image

arbitraryking avatar Sep 26 '24 05:09 arbitraryking

csv已经处理好了的，第一列是用户问题，第二列是答案，用glm-4-plus后最后存储的辅助数据与原来的第二列有差异，甚至部分直接跳过了，用qewn-v2-32k就没有问题，文件处理模型是必用吗？

QA

c121914yu avatar Sep 27 '24 04:09 c121914yu