APIConnectionError: Connection error.

[RyanOvO]

报错：

代码：

以为是模型的API服务接口没起来，但是试了下，没问题，用ip和127.0.0.1本地地址都试过，全是一样的效果。是不是漏了什么配置？

[pan-x-c]

能否提供更详细的模型部署信息

使用 openai_chat 类型的模型配置要求你的模型服务已经正常启动且服务接口兼容 OpenAI

[RyanOvO]

能否提供更详细的模型部署信息

使用 openai_chat 类型的模型配置要求你的模型服务已经正常启动且服务接口兼容 OpenAI

这是我用postman请求的模型接口，该有的都有，是ok的

[pan-x-c]

base_url 填写错误，请使用 http://192.168.7.55:7860/v1/

[RyanOvO]

base_url 填写错误，请使用 http://192.168.7.55:7860/v1/

一样的，我都用过。就像我的问题描述那样，ip地址和本地127，我都试过，只是截图只截图127的地址。现在补上ip地址：

[pan-x-c]

model_name 改为 glm-4-9b-chat

[RyanOvO]

model_name 改为 glm-4-9b-chat

都试了。因为我是基于llamafactory的vllm命令部署起来的基座模型，model-name，随便给就行。而你说的这个，我也试过，没用

[DavdGao]

@RyanOvO 请尝试将base_url改为http://192.168.7.55:7860/v1/chat/completions？或者将base_url中使用localhost作为IP段。

[RyanOvO]

@RyanOvO 请尝试将base_url改为http://192.168.7.55:7860/v1/chat/completions？或者将base_url中使用localhost作为IP段。

提issue前都尝试过。一样的报错。