Bill Chen

Results 49 comments of Bill Chen

I agree that it should be site-wide where xunlei-lixian would be installed. The issue is that, I'm not familiar with Python, and when I follow the README instruction provided, I...

my cpu supports avx but I still experience the same error. The fix is installling lasted VC_redist.x64: https://docs.microsoft.com/en-us/cpp/windows/latest-supported-vc-redist?view=msvc-170

> 最近我也意识到了这方面的需求。 > > ChatOllama的初衷是基于Ollama的完全本地化的知识库问答,甚至没有考虑像OpenAI等模型API的支持。有趣的是,这个项目本质是又是一个Web应用,其形态本身又是一个基于网络,这就跟初衷存在冲突。 > > 随着大家越来越多的使用,我相信有些用户也是期望在服务器部署,供多人使用。应用又是基于浏览器的,那自然会有类似于你的需求,跨设备,跨浏览器。 > > 接下来我会规划这方面的需求,逐步对数据实现服务端存储,并支持多用户及访问控制。 考虑到这是个简单的应用,我觉得如果你没有太大野心的话 (手动狗头),用户访问控制可以极简化,毕竟都是私人部署,甚至部署到公网的需求都会很少。不需要花太多精力。 至于大模型和第三方支持,还是以前讨论过的,有几个人家里有H100支持自有模型啊,呵呵,还是用现成的API更现实。我觉得似乎可以考虑用[One-API](https://github.com/songquanpeng/one-api)之类的库来简化对大模型和第三方的支持,集中精力开发你想要的特色功能。

> > 我今天试了试Knowledge Base,发现我运行ChatOllama的Host的性能太差,几个文件embed了很长时间。不知道能否支持第三方比如OpenAI的embeddings模型? > > 还有,vector DB是否也可选支持pinecone等第三方? > > 谢谢。 > > 可以的。当你在Settings里设置了OpenAI API Key,就可以在知识库创建时使用OpenAI的embedding模型,比如text-embedding-ada-002 谢谢。如果能够在embedding模型输入那儿换成下拉菜单列出valid的embedding模型供选择就好了。 > 这个项目的初衷是完全本地化的基于大模型的应用。看来大家还是对第三方API的集成有很大的兴趣。那就做起来 主要的问题在于大家自己本地的平台很少有足够的GPU算力,所以只能依赖于第三方API了。

还可以在输入模型的费率(可选,默认为0)后,针对每个KB和Chat,显示这儿花了多少钱 💰 🥲

👍 能否增加服务器端的本地文件夹批量导入?因为ChatOllama部署后,很大可能是与文件在同一台机器上的,就没用必要再用浏览器上传,何况上传还有各种限制。 比如支持个输入框输入路径:`/data/kb_folders` 是不是在KB的来源这里,用单选 tab 的形式,3个 tab 3种方式,一个浏览器端文件(夹),一个URL,一个服务端文件夹?

something like `brename --only-dir -p "[\.\_]((19|20)\d\d)[\.\_]" -r ".(\$1)." *`

and I notice that it takes no time to find files/dirs to be rename, but generally takes 3-10 seconds if not more to rename one

> In my test of scanning my whole disk, it only occupied less than 20MB of memory. Does the machine have a small RAM? no, it's 8GB in totoal RAM...

@sugarforever 作为容器在后端运行后,在哪儿可以看到 logs 啊? 我也是500报错,找不到模型。但是同样的Ollama设置,Ollama Open WebUI是可以找到模型的。而且我设置了Anthropic的API后,也是找不到Chaulde的模型。我没有设置OPENAI的API,与这有没有关系? 我是Ollama, Chroma和ChatOllama分别运行在同一台机器上的独立的容器中的,用172.xxx.xx.xxx的地址互联。 ![CTMS 2024-03-13 11_26_17-DS1522 - Synology NAS](https://github.com/sugarforever/chat-ollama/assets/956787/a6bfbeea-6b0a-45e3-aa7e-e10d37273a94)