ImmNaruto

Results 18 comments of


                                            ImmNaruto

[Feature] <title>API模式怎么支持一个字一个字的吐出。

api里修改model.chat为model.stream_chat，然后前端做一些流式设置

[Feature] <title>API模式怎么支持一个字一个字的吐出。

可以参照wenda项目里的流式输出https://github.com/wenda-LLM/wenda来实现

problem about ascend npu 910A

+1，same problem

希望作者大大出个调用sd api的教程

修改plugins/zhishuku_agents.py中的sd_agent接口方法把里面的url改成部署好sd的api

13b的模型跑起来，需要多少显存资源

可以切分到多张卡部署吗，本地测试了下单张24G的3090部署不了，想尝试下多卡

报错 Too many open files

linux有最大打开文件数限制，改一下就好了

构建知识库报错python plugins/gen_data_st.py时候ModuleNotFoundError: No module named 'exceptions'

要安装一下Python-docx库，pip install python-docx

请问wenda平台支持在昇腾NPU芯片上运行吗？

这个主要是模型端的适配，要设置一下上下文指定的npu，可以参考昇腾官方对大模型侧的适配，也可以参考http://mirrors.cn-central-221.ovaijisuan.com/article/7

langchain最新版本无法执行

#531 代码已更新解决langchain版本问题

请问可以增加对【零一万物】的支持吗

尝试适配中

1
2
›