maxgameone
maxgameone
When using a stream is run normally , but multiple streams will be errors may occur 。 as follows ERROR: Failed to create network using custom network creation function ERROR:...
各位巨佬好: 我现在在做一个应用,模型用的 Qwen2.5 vl 72b ,目前用的 FunCallAgent 来实例化bot,在发送多模态消息的时候这个图片URL 在VLLM服务哪里就只剩了个文件名,我发送的消息格式如下 [{'role': 'user', 'content': [{'image': 'https://dashscope.oss-cn-beijing.aliyuncs.com/images/dog_and_girl.jpeg'}, {'text': '图片描述'}]}] 在 VLLM 日志里成这个样式: \nuser\n(上传了 )\n\n图片描述\nassistant\n' 目前情况是读取不到这个图片URL,因为curl 的OpenAPI请求是正常的,我就不知道哪里的问题,还望解惑 谢谢
大佬好: 我建立了ws 服务来作为流式输入的接口,现在遇到个问题。我首次进入的时候 这边迭代器是正常使用的,然后我断开重连后,貌似就被清理了无法进入以下代码,请问下这种情况该如何解决 
调用工具报错
File "/usr/local/lib/python3.12/dist-packages/qwen_agent/agent.py", line 112, in run for rsp in self._run(messages=new_messages, **kwargs): File "/usr/local/lib/python3.12/dist-packages/qwen_agent/agents/fncall_agent.py", line 69, in _run output_stream = self._call_llm(messages=messages, ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/usr/local/lib/python3.12/dist-packages/qwen_agent/agent.py", line 158, in _call_llm return self.llm.chat(messages=messages, ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^...

我vllm CPU跑就报错不知道啥原因