3030373635

Results 5 comments of 3030373635

@LouisYZK 把sqlalchemy==1.3.22解决了报错后,又报错ModuleNotFoundError: No module named 'aioredis.errors'

这个项目真的可以运行吗,持疑惑态度。

> 我自己实现了一个FASTAPI框架下的web调用,可以来我的仓库看一下😄 支持并发吗,或者说并行,因为我有大量api请求

> > 请问LMDeploy部署的话,可以支持kv-cache加速吗 > > 支持的,也可以用 LMDeploy 的工具进行awq 量化,其他的量化格式正在支持中。 > Hi, LMDeploy 目前可以部署Qwen/Qwen-VL-Chat,并支持openai形式的用法。欢迎使用并提供意见 > > 这里是相关文档。 https://github.com/InternLM/lmdeploy/blob/main/docs/zh_cn/serving/api_server_vl.md https://github.com/InternLM/lmdeploy/blob/main/docs/zh_cn/inference/vl_pipeline.md 部署qwen-vl-chat后,使用图片对话,一直乱回答。。。我使用来识别图片语种的

> [@dosu](https://github.com/dosu) APP_MAX_ACTIVE_REQUESTS=0 SERVER_WORKER_AMOUNT=9 SERVER_WORKER_CONNECTIONS=100 DEFAULT_MAX_WORKERS=4 my configurition is like blow . The problem has not been resolved 你解决了吗?最大6个限制,不知道是不是社区版的限制。