FastGPT icon indicating copy to clipboard operation
FastGPT copied to clipboard

我在oneapi中配置m3e出现了问题,是中提示404

Open wxc-learn opened this issue 1 year ago • 2 comments

例行检查

  • [x] 我已确认目前没有类似 issue
  • [x] 我已完整查看过项目 README,以及项目文档
  • [x] 我使用了自己的 key,并确认我的 key 是可正常使用的
  • [x] 我理解并愿意跟进此 issue,协助测试和提供反馈
  • [x] 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的 issue 可能会被无视或直接关闭

你的版本

  • [ ] 公有云版本
  • [x] 私有部署版本, 具体版本号: fastgpt:v4.7 one-api:latest m3e-large-api:latest 问题描述 我使用的docker compose进行部署,期间增加了m3e oneapi,当我使用oneapi配置m3e的时候,点击测试提示404,oneapi配置的m3e路径如下:http://host.docker.internal:6008,期间也使用了m3e.fastgpt.orb.local 这个地址,也是一样的404 相关截图 image image image image

wxc-learn avatar Apr 30 '24 10:04 wxc-learn

我是使用的mac m1 进行的搭建

wxc-learn avatar Apr 30 '24 12:04 wxc-learn

目前oneapi的测试按钮仅只支持聊天模型,不支持embedding模型 如果要测试embedding模型,建议请使用代码测试,或者使用别的软件手动发送请求进行测试

from openai import OpenAI

client = OpenAI(
    api_key="oneapi的令牌",
    base_url="oneapi的地址/v1/",  # 例如http://192.168.20.59:7891/v1/
)


# compute the embedding of the text
embedding = client.embeddings.create(
    input="你好",
    model="模型名称" # 注意,不是渠道名称
)
print(embedding)

nongmo677 avatar Apr 30 '24 16:04 nongmo677

换个镜像,推荐的镜像版本有问题,我换了一个,就好了

lonrencn avatar May 01 '24 12:05 lonrencn

换个镜像,推荐的镜像版本有问题,我换了一个,就好了 我也遇到同样问题,请发下你用的镜像版本 谢谢

leoncool23 avatar May 04 '24 02:05 leoncool23

换个镜像,推荐的镜像版本有问题,我换了一个,就好了 我也遇到同样问题,请发下你用的镜像版本 谢谢 stawky/m3e-large-api:latest

lonrencn avatar May 04 '24 06:05 lonrencn

换个镜像,推荐的镜像版本有问题,我换了一个,就好了 我也遇到同样问题,请发下你用的镜像版本 谢谢 stawky/m3e-large-api:latest

我用了这个镜像问题依然存在

aiyouwoqudi avatar Jul 23 '24 17:07 aiyouwoqudi

换个镜像,推荐的镜像版本有问题,我换了一个,就好了 我也遇到同样问题,请发下你用的镜像版本 谢谢 stawky/m3e-large-api:latest

我用了这个镜像问题依然存在

404 是正常的,就用官网给的地址,在fast中能用。

lonrencn avatar Jul 25 '24 14:07 lonrencn

多谢分享已解决。

  1. 在Oneapi 申请令牌后,复制key到fastgpt docker-compose.yml 下CHAT_API_KEY=key
  2. 重启fastgpt oneapi(在fastgpt docker-compose.yml 目录下 docker compose down, docker compose up -d)
  3. *注意,令牌界面 「模型范围」不要填写,会限制embedding模型(未测试填写所有所用模型)
  4. 复制令牌的sk-key,在渠道所用的llm和embedding模型中粘贴。
  5. FastGpt 知识库测试可行。

注释:

  1. *Oneapi不支持测试Embedding,因为请求的是/completion接口,所以会报错response 404。
  2. 可通过curl --location --request POST 'http://<此处填Embedding模型IP:端口>/v1/embeddings'
    --header 'Authorization: Bearer <此处填你的令牌sk-key>'
    --header 'Content-Type: application/json'
    --data-raw '{ "model": "m3e", "input": ["laf是什么"] }'

hamiduan avatar Aug 20 '24 08:08 hamiduan