FastGPT icon indicating copy to clipboard operation
FastGPT copied to clipboard

4.6.8版本知识库Embedding API 404

Open Spider4U opened this issue 1 year ago • 16 comments

例行检查

  • [x] 我已确认目前没有类似 issue
  • [x] 我已完整查看过项目 README,以及项目文档
  • [x] 我使用了自己的 key,并确认我的 key 是可正常使用的
  • [x] 我理解并愿意跟进此 issue,协助测试和提供反馈
  • [x] 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的 issue 可能会被无视或直接关闭

你的版本

  • [ ] 公有云版本
  • [x] 私有部署版本

问题描述 4.6.8版本 fastgpt 模型对话功能正常,但是知识库模块上提示 Embedding API 404。 大模型对话功能正常,但是向量模型one-api上测试正常,curl命令测试正常,fastgpt页面上提示Embedding API 404

复现步骤

预期结果

相关截图 da6d989ee4cce7401b0c400307c04ab

e0fff38560b6516ec1ebef6ecc28d96

902bef845329d0a154138d0b4975995

Spider4U avatar Mar 06 '24 03:03 Spider4U

上午刚部署完,建好知识库也出现了这问题。刚刚又试了下,好了。。不知道发生了啥,这个错误给的信息太少了: Embedding Error Embedding API 404 [ERROR] 2024-03-06 03:14:36 sse error: Embedding API 404 { message: 'Embedding API 404', stack: undefined }

JerryMoon avatar Mar 06 '24 06:03 JerryMoon

我还在学习训练中,就报了这个错:
image image

yongxinzhang18810492456 avatar Mar 06 '24 10:03 yongxinzhang18810492456

404就是模型地址不对

c121914yu avatar Mar 07 '24 01:03 c121914yu

404就是模型地址不对

但是one-api配置的url是对的,测试也正常

Spider4U avatar Mar 07 '24 02:03 Spider4U

同问同求,上传文档后只会有一组或者2组数据,看oneapi也是请求通了的,但是后续就始终卡住,手动添加数据就会提示:Embedding API 404。

只有特别偶尔的情况下,才可以手动添加成功,成功概率大概5%左右,其余情况都是报Embedding API 404

xianniduanqun avatar Mar 07 '24 05:03 xianniduanqun

我的已经解决掉了: 我用的是文心一言的Embedding-V1,最大长度限制1000,需要在配置文件里改一下vectorModels中的maxToken。然后录入新数据的时候需要拆小一点,我自定义500,就好很多了,只有一小部分数据一直卡着,大部分数据都索引完成了。

xianniduanqun avatar Mar 07 '24 06:03 xianniduanqun

我的已经解决掉了: 我用的是文心一言的Embedding-V1,最大长度限制1000,需要在配置文件里改一下vectorModels中的maxToken。然后录入新数据的时候需要拆小一点,我自定义500,就好很多了,只有一小部分数据一直卡着,大部分数据都索引完成了。

能否发一下你的配置文件我看下,我也遇到这样的问题了

tom6q6 avatar Mar 07 '24 11:03 tom6q6

我的已经解决掉了: 我用的是文心一言的Embedding-V1,最大长度限制1000,需要在配置文件里改一下vectorModels中的maxToken。然后录入新数据的时候需要拆小一点,我自定义500,就好很多了,只有一小部分数据一直卡着,大部分数据都索引完成了。

使用了这个方法但仍然报错,我也用的文心一言的Embedding-V1

Cordy27 avatar Mar 08 '24 16:03 Cordy27

chatglm在线的embedding-2也同样错误

dytinux avatar Mar 10 '24 13:03 dytinux

前置:智谱好像现在只支持embedding-2 问题:chatglm embedding-2报错 (1)在oneapi配置如下图 image (2)fastgpt持续搜索text-embedding-ada-02,日志报错未找到text-embedding-ada-002模型 可能的原因: packages/global/core/ai/model.ts packages/service/core/dataset/schema.ts 这两个文件下有默认向量模型text-embedding-ada-002 待确认。。。

sx272194952 avatar Mar 11 '24 01:03 sx272194952

智谱的embedding-2和openai的text-embedding-ada-02请求与响应基本一致,但是用不了智谱

tom54007 avatar Mar 11 '24 05:03 tom54007

使用one-api中转azure的text-embedding-ada-02,一直报错Post "text-embedding-ada-002/openai/deployments/Embedding-V1/embeddings?api-version=2023-06-01-preview": unsupported protocol scheme

image

不管是否做这个映射都是一样的报错

ivanberry avatar Mar 13 '24 00:03 ivanberry

前置:智谱好像现在只支持embedding-2 问题:chatglm embedding-2报错 (1)在oneapi配置如下图 image (2)fastgpt持续搜索text-embedding-ada-02,日志报错未找到text-embedding-ada-002模型 可能的原因: packages/global/core/ai/model.ts packages/service/core/dataset/schema.ts 这两个文件下有默认向量模型text-embedding-ada-002 待确认。。。

请问是否确认问题(2),one api似乎也无法通过自定义方式接入text-embedding-ada-002,直接导致知识库功能不可用了

Cordy27 avatar Mar 13 '24 15:03 Cordy27

我用阿里千问text-embedding-v1 这个模型就不报错,智谱的embedding-2/Embedding-2(大小写我都试过)就报 Embedding API 404,one-api日志 respErr is not nil: &{Error:{Message:prompt 参数非法。请检查文档。 Type:zhipu_error Param: Code:1214} StatusCode:200}, 智谱官网 提示 1214 | ${field} 参数非法。fastgpt 日志看不到任何东西

oopono avatar Mar 26 '24 09:03 oopono

我用阿里千问text-embedding-v1 这个模型就不报错,智谱的embedding-2/Embedding-2(大小写我都试过)就报 Embedding API 404,one-api日志 respErr is not nil: &{Error:{Message:prompt 参数非法。请检查文档。 Type:zhipu_error Param: Code:1214} StatusCode:200}, 智谱官网 提示 1214 | ${field} 参数非法。fastgpt 日志看不到任何东西

看起来是one-api的问题,我直接用url调智谱的embedding是没问题的,用one-api传数组的情况会跟你错误一样,非数组正常。具体情况看这个问题: https://github.com/songquanpeng/one-api/issues/1291#issue-2231633162

mxdlzg avatar Apr 10 '24 09:04 mxdlzg

  "vectorModels": [
    {
      "model": "text-embedding-3-large",
      "name": "Embedding-3-large",
      "avatar": "/imgs/model/openai.svg",
      "charsPointsPrice": 0,
      "defaultToken": 512,
      "maxToken": 3000,
      "weight": 100,
      "dbConfig": {},
      "queryConfig": {},
      "defaultConfig": {
        "dimensions": 1024
      }
    },
    {
      "model": "text-embedding-3-small",
      "name": "Embedding-3-large",
      "avatar": "/imgs/model/openai.svg",
      "charsPointsPrice": 0,
      "defaultToken": 512,
      "maxToken": 3000,
      "weight": 100,
      "dbConfig": {},
      "queryConfig": {}
    },
    {
      "model": "text-embedding-ada-002",
      "name": "Embedding-2",
      "avatar": "/imgs/model/openai.svg",
      "charsPointsPrice": 0,
      "defaultToken": 512,
      "maxToken": 3000,
      "weight": 100,
      "dbConfig": {},
      "queryConfig": {}
    }
  ],

默认配置文件的锅

把name改一下

ShinChven avatar May 23 '24 06:05 ShinChven