JerryLu991223

如何多机多卡加载一个模型？

16

您好，想请教一下，如何多机多卡共同加载一个模型？目前单机的一张卡无法加载大模型，希望模型并行来做推理。vLLM本身具备这样的功能，所以比较好奇这里改怎么设置才可以实现我想要的效果呢？ 目前，几台机器xinference已经安装好，也可以共同添加到一个cluster，不知道后面的步骤是什么呢，是设置replica=1就可以了嘛？

XFlow 1.x对应的X6版本

1

### 问题描述 目前因为XFlow2.0没有dag demo，还是想用旧版本。 请问有没有推荐的XFlow和X6版本？ 目前https://xflow.antv.vision/zh-CN/docs/tutorial/solutions/dag，这个链接的demo在XFlow 1.0.51和X6 2.18.1有各种报错。 ### 重现链接 https://xflow.antv.vision/zh-CN/docs/tutorial/solutions/dag里的layout demo ### 重现步骤 直接报各种错，例如： 1. 模块“"@antv/x6"”没有导出的成员“ObjectExt”。ts(2305) 2. [plugin:vite:esbuild] Transform failed with 1 error: /home/zhenghao-lu/workspace/weevaluation/frontend/src/pages/DataProcess/Workflow/config-toolbar.tsx:185:11: ERROR: Cannot use "this" here:...

Currently, I find that the split line between origin code and current is not stable. I have adjusted the style for "line", but it still misaligned. ...