DistributedDense只支持按照列切分吗？

[kuangdao]

DistributedDense只支持按照列切分吗？如果想实现Megatron-LM那种方式，先列切，再行切该怎么办？

[charles9304]

目前开源版本DistributedDense只支持按列拆分这种pattern，但预留了实现不同拆分pattern的接口。

我们WIP版本已经支持不同拆分pattern，并能够基于预定义cost model评估模型选择不同拆分pattern时的开销，来自动探索出较优的拆分plan，这部分工作正在完善中。