780966854 comments

Results 3 comments of

780966854

单卡多模型能实现推理并行吗

> 请问最后实现了吗，默认只在第一块gpu进行加载和运算不行，单卡多模型可以运行，但是一个模型推理的时候现存利用率会拉满，另一个模型只能等第一个推理完后才能推理，然后2个结果一起返回

ImportError: Qwen-Agent needs to monkey patch MCP for process cleanup. Please upgrade MCP to a higher version with `pip install -U mcp`.

> 我也是这样，把库重新安装了也没用卸载mcp包再重新安装就行，但是在ubuntu上 mcp 运行时有些包链接超时，没有梯子，换源也没用

ImportError: Qwen-Agent needs to monkey patch MCP for process cleanup. Please upgrade MCP to a higher version with `pip install -U mcp`.

> > > 我也是这样，把库重新安装了也没用 > > > > > > 卸载mcp包再重新安装就行，但是在ubuntu上 mcp 运行时有些包链接超时，没有梯子，换源也没用 > > 我这边还是报一样的错，麻了配置uv的源 mkdir -p /home/jovyan/.config/uv sudo vim ~/.config/uv/uv.toml index-url="https://mirrors.cloud.tencent.com/pypi/simple/"