lmdeploy icon indicating copy to clipboard operation
lmdeploy copied to clipboard
Published 2 months ago • verified publisher icon InternLM

[Feature] 是否有计划将convert逻辑优化成多进程(非多线程，依然是单核跑满)，希望能CPU多核跑满

Open Gierry opened this issue 8 months ago • 0 comments

Motivation

是否有计划将在线convert逻辑优化成多进程(非多线程，依然是单核跑满)，希望能CPU多核跑满，目前观察到的convert 过程只有单核跑到100%，有时候甚至没有，所以效率极其低下，非常感谢。

Related resources

No response

Additional context

No response

Gierry avatar May 14 '25 15:05 Gierry