yujin2021

@sixsixcoder 请问您在使用运行启动 vllm_openai_server.py有修改哪些内容吗，我的会报这个错：ValueError: ChatGLMForConditionalGeneration has no vLLM implementation and the Transformers implementation is not compatible with vLLM.，看起来像是vllm不支持cogagent. vllm注册新模型的文档也不是很清晰：https://vllm.hyper.ai/docs/models/adding-a-new-model#1-%E5%BC%95%E5%85%A5%E4%BD%A0%E7%9A%84%E6%A8%A1%E5%9E%8B%E4%BB%A3%E7%A0%81 您能告诉我要改哪些内容吗，期待您的回复，谢谢 我的环境是： 华为npu：910B python3.10.12 vllm0.7.3+empty torch2.5.1 transformers4.50.1 -------------------------------- 我按照自己的理解修改了相关内容，模型成功启动，但是调用模型输出为空： [https://bgithub.xyz/THUDM/CogAgent/issues/49](url)

我在使用vllm启动cogagent时遇到了同样的问题: "ValueError: ChatGLMForConditionalGeneration has no vLLM implementation and the Transformers implementation is not compatible with vLLM." 我的环境是： python3.10.12 vllm0.7.3+empty torch2.5.1 transformers4.50.1

根据这篇文档https://vllm.hyper.ai/docs/models/adding-a-new-model （1）将重写forward方法的模型放到项目路径下 （2）根据第6步在启动模型的文件vllm_openai_server.py中添加： `from vllm import ModelRegistry from chatglmcogagent import ChatGLMForCausalLM ModelRegistry.register_model("ChatGLMForCausalLM", ChatGLMForCausalLM)` （3）将cogagent-9b-20241220模型文件夹下的config.json文件中的相关模型名改为 ChatGLMForCausalLM （4）由于vllm版本是0.7.3，会出现MoudleNotFoundError报错，根据0.7.2版本的源码也进行了修改（有条件的可以安装vllm0.7.2版本） 问题：模型启动后，输入指令+图片，输出为空

> 我不一定能帮你解决问题，建议不使用vllm。你这个操作是没有用的 > > > 根据这篇文档https://vllm.hyper.ai/docs/models/adding-a-new-model （1）将重写forward方法的模型放到项目路径下 （2）根据第6步在启动模型的文件vllm_openai_server.py中添加： `from vllm import ModelRegistry > > from chatglmcogagent import ChatGLMForCausalLM > > ModelRegistry.register_model("ChatGLMForCausalLM", ChatGLMForCausalLM)` （3）将cogagent-9b-20241220模型文件夹下的config.json文件中的相关模型名改为 ChatGLMForCausalLM （4）由于vllm版本是0.7.3，会出现MoudleNotFoundError报错，根据0.7.2版本的源码也进行了修改（有条件的可以安装vllm0.7.2版本） > > 问题：模型启动后，输入指令+图片，输出为空 好吧，谢谢

> only transformers肯定能跑，你试了吗？ 试了，可以的，就是不支持并发，多个请求是依次响应的

好的，这方面还没了解过，有时间学习下，谢谢

使用25条数据去做Lora微调，模型并未遵从user用户输入中的指令，输出像是乱说的 推理数据如下： {"response": "Action: 点击屏幕底部中间的红色“确认无误”按钮，以确认已输入的单位电话无误。\nGrounded Operation: CLICK(box=[[040,424,962,467]], element_info='确认无误')", "labels": "Action: 在页面中找到“请输入(选填)”的文本框，左键单击以激活输入框，准备输入单位电话。\nGrounded Operation: CLICK(box=[[733,284,960,307]], element_info='请输入(选填)')", "messages": [{"role": "user", "content": "Task: 输入单位电话：95555\nHistory steps: \n(Platform: Mobile)\n(Answer in Action-Operation format.)\n\n"}, {"role": "assistant", "content": "Action:...

使用了ms-swift微调，所以微调格式和官方给的有所不同