lmdeploy
lmdeploy copied to clipboard
qos模块源码有问题
在最新版本的lmdeploy/serve/qos_engine/qos_engine.py第82行看起来应该是stream_response=True而不是源码中的true,不然true会被赋值给gen_config,导致报错。
多谢指出问题,能顺手提个pr修复下不?
验证下面的代码修改,即可解决问题: