lmdeploy icon indicating copy to clipboard operation
lmdeploy copied to clipboard

qos模块源码有问题

Open Juniper1021 opened this issue 1 year ago • 2 comments

在最新版本的lmdeploy/serve/qos_engine/qos_engine.py第82行看起来应该是stream_response=True而不是源码中的true,不然true会被赋值给gen_config,导致报错。

Juniper1021 avatar May 09 '24 14:05 Juniper1021

多谢指出问题,能顺手提个pr修复下不?

lvhan028 avatar May 10 '24 02:05 lvhan028

验证下面的代码修改,即可解决问题:

bugfix

thelongestusernameofall avatar May 11 '24 11:05 thelongestusernameofall