JerryLu991223
Results
3
comments of
JerryLu991223
> 这个例子：https://x6.antv.antgroup.com/zh/examples/node/tool/#port-tooltip 可以再说的详细点么，还是没看明白如何把X6这个用法整合到XFlow 2.0里DAG的例子...
> vLLM 的张量并行如果用多机多卡性能应该非常差吧，我们主要担心是否具备实用价值。 意思是vLLM本身不适合多机多卡的张量并行推理？那他管道并行的能力怎么样，或者想请教一下，多机多卡共同加载一个大模型这种case，比较推荐的做法是怎么样的呢～
> > > vLLM 的张量并行如果用多机多卡性能应该非常差吧，我们主要担心是否具备实用价值。 > > > > > > 意思是vLLM本身不适合多机多卡的张量并行推理？那他管道并行的能力怎么样，或者想请教一下，多机多卡共同加载一个大模型这种case，比较推荐的做法是怎么样的呢～ > > 老哥，有答案不？ 多机的话好像管道并行比较好，想要多机跑还是直接用vLLM框架就行