ChunyiY
Results
3
comments of
ChunyiY
请问是否解决，我用lmdeploy推理LLM遇到了相似的问题...
我也遇到了一样的问题，也是qwen2-72b, 我的请求的tokens数量大概是你的1/3，我做了限制，但是也同样是在你3倍的请求后（900）个开始挂起。不知是否解决了？
而且我发现我跑了7b也遇到了一样的问题