bailing icon indicating copy to clipboard operation
bailing copied to clipboard
Published 6 months ago • verified publisher icon wwbin2017

.

Open LiJoeAllen opened this issue 10 months ago • 4 comments

跑起来了，回答有点慢全看api的速度。

这个库看起来有优化，库主抄一抄呗O(∩_∩)O😄

LiJoeAllen avatar Mar 14 '25 15:03 LiJoeAllen

把轻量模型下载到本地会不会更快一点 因为这个项目初衷就是能在资源受限的环境下跑 二次开发得这个项目对gpu是有要求的吧

Charlotte698 avatar Mar 17 '25 00:03 Charlotte698

目标是JARVIS，托尼史塔克的服务器很大，可交互入口无所不在

LiJoeAllen avatar Mar 17 '25 02:03 LiJoeAllen

目标是JARVIS，托尼史塔克的服务器很大，可交互入口无所不在

我还没仔细想过诶 我原本以为把llm部署到本地开gpu响应时间就可以大幅减短了了🤯

Charlotte698 avatar Mar 17 '25 03:03 Charlotte698