Jianxin Ma

我们自测 together ai 提供的 api 能通。请问具体使用的是什么代码或框架提供的open ai格式api，是 vllm、fastchat、或者其他？我们排查下

您好，经过排查，是部分oai api实现会输出 content=None 导致，我们已经更新了相关代码处理这个情况。可以拉取最新代码再次尝试下。

请问方便发一下您测试langchain用的脚本吗？我们看下。以及是用vllm还是什么框架起的服务？

您好，经过排查，是工程接口问题，和模型无关。 详情如下： - 按您的方式创建后，我打印了 langchain 调用的中间环节，发现 langchain 是在使用 function_calling (tool calling) 接口，但是当前 together 和 dashscope 应该都还没有开放 function calling 功能，因此实际没有生效。 解决方案一： - 如果您需要 function calling 接口，可以等待 dashscope 年后上线。也可以参考 https://github.com/QwenLM/Qwen-Agent 项目封装的 function...

另外，我在打印中间环节的时候，发现调用 ChatTongyi 时有细节需要注意： ```py model = ChatTongyi( model="qwen1.5-72b-chat", # 注意是model，不是model_name ) ``` 而不是如您截图的 ```py model = ChatTongyi( model_name="qwen1.5-72b-chat", # 错误！实际没生效，会错误调用成 qwen-turbo ) ```

> 你好，有一个问题想请教一下，使用openai的时候提示以下问题，该如何解决呢 openai.error.InvalidRequestError: Qwen/Qwen1.5-14B-Chat doesn't support constraints 这个报错就是因为langchain的这个agent实现使用了function calling、但是together ai等服务提供商并没有为qwen提供function calling功能。 可以参见我前面回复提到的解决方案一、解决方案二。

> 你好，问个关于function call的问题，之前版本发布的函数调用还支持在Qwen 1.5使用吗 https://github.com/QwenLM/Qwen/blob/main/examples/function_call_examples.py - function_call_examples.py里面langchain那个case可能可以work —— 但我还没时间测试，如果有问题欢迎提issues。 - 至于其他的function call examples，模型是支持的。但是因为老的 openai_api.py 代码还没时间改到支持1.5的，因此要测试目前只能先通过 Qwen-Agent 项目来支持 —— 参见 https://github.com/QwenLM/Qwen-Agent/blob/main/examples/function_calling.py

> @JianxinMa 您好，想问下dashscope 的function call实现已经上线了吗? 会与 Qwen-Agent 项目封装的 function calling 接口 有什么区别？ 上了，和qwen-agent的区别不大。dashscope用的tool_calls的格式（如果用langchain注意看是不是用的tool_calls而不是function_call）： https://help.aliyun.com/zh/dashscope/developer-reference/api-details?disableWebsiteRedirect=true#86ef4d304bwsb

欢迎提PR，我们会merge的。本职工作负担重，开源项目靠爱发电，很难面面俱到。。

可用openai兼容api接口的方式接入。