ye7love7
ye7love7
一样的问题，哪位大佬能否PR支持一下14b模型。
支持的。 ---Original--- From: "Lionel ***@***.***> Date: Wed, Nov 22, 2023 18:12 PM To: ***@***.***>; Cc: ***@***.******@***.***>; Subject: Re: [vllm-project/vllm] Serving Qwen/Qwen-14B-Chat-Int4 error (Issue#1178) 题主解决了吗，目前qwen-14b或14b-chat是否被支持？ — Reply to this email directly,...
代码的文本量还是挺大的，这个限制都没法限制。 ---原始邮件--- 发件人: ***@***.***> 发送时间: 2024年1月25日(周四) 下午4:26 收件人: ***@***.***>; 抄送: ***@***.***>; 主题: Re: [QwenLM/Qwen-Agent] 使用过程中爆显存 (Issue #65) 我用的Qwen-14B-Chat模型占用16G左右显存，Code Interpreter问了几轮之后就40G然后kill掉server之后依然40G占用 得重新部署模型 — Reply to this email directly, view it on GitHub,...
遇到了相同的问题，服务部署在远程服务器上，输入远程服务器的地址http://192.168.9.9:7864或者7863，均不起作用。
> +1我也遇到了这个问题 这个问题新版本已经解决了，我已经没有碰到这个问题了，你可以尝试更新代码。
>  终于上传好图片了 直接点击进入会报错的，代码逻辑访问/endpoint的时候触发web_listening，再触发update_pop_url，先添加阅读清单再打开就可以了
是的是的，需要docker的部署方法。。 ---原始邮件--- 发件人: "Xiaobin ***@***.***> 发送时间: 2023年10月9日(周一) 中午11:20 收件人: ***@***.***>; 抄送: ***@***.******@***.***>; 主题: Re: [benjycui/bisheng] 如何在离线环境下进行部署？ (Issue #264) 具体是使用场景是？能否直接把所有资源打包到 docker 镜像之类的方式？ — Reply to this email directly, view it on...
> The first step is to check whether there are libcudnn.so and libcublas.so in the shared library. Enter below command in the terminal. > > `ls /usr/lib | grep lib`...
> 我也遇到了，楼主解决了吗？ 其实不需要这个包，已经运行，但是又碰到了文件上传的问题，不知道是否与这个包有关。
> apt-get install python3.10-dev ,运行完这句试试呢 纯离线环境，没有这个包，也能跑的起来，但是上传不了文本，不知道什么原因。