lhtpluto

也遇到这个问题了 操作系统：Linux-5.15.146.1-microsoft-standard-WSL2-x86_64-with-glibc2.35. python版本：3.11.7 (main, Dec 15 2023, 18:12:31) [GCC 11.2.0] 项目版本：v0.2.10 langchain版本：0.0.354. fastchat版本：0.2.35 当前使用的分词器：ChineseRecursiveTextSplitter 当前启动的LLM模型：['Qwen1.5-32B-Chat'] @ cuda {'device': 'cuda', 'host': '0.0.0.0', 'infer_turbo': False, 'model_path': 'Qwen1.5-32B-Chat', 'model_path_exists': True, 'port': 20002} 当前Embbedings模型：...

再次遇到这个问题 ==============================Langchain-Chatchat Configuration============================== 操作系统：Linux-6.5.0-28-generic-x86_64-with-glibc2.35. python版本：3.11.7 (main, Dec 15 2023, 18:12:31) [GCC 11.2.0] 项目版本：v0.2.10 langchain版本：0.0.354. fastchat版本：0.2.35 当前使用的分词器：ChineseRecursiveTextSplitter 当前启动的LLM模型：['Qwen1.5-32B-Chat-GPTQ-Int4'] @ cuda {'device': 'cuda', 'host': '0.0.0.0', 'infer_turbo': False, 'model_path': 'Qwen/Qwen1.5-32B-Chat-GPTQ-Int4', 'model_path_exists': True, 'port':...

[MOSS Vortex](https://github.com/OpenLMLab/MOSS_Vortex) - MOSS部署和推理方案 [MOSS WebSearchTool](https://github.com/OpenLMLab/MOSS_WebSearchTool) - MOSS搜索引擎插件部署方案 [MOSS Frontend](https://github.com/singularity-s0/MOSS_frontend) - 基于flutter实现的MOSS-003前端界面 [MOSS Backend](https://github.com/JingYiJun/MOSS_backend) - 基于Go实现的MOSS-003后端 参见[README.md](https://github.com/OpenLMLab/MOSS/blob/main/README.md)

单卡 没遇到你们的问题

确认是WSL的内存设置问题 问题已经解决

> How did you change this WSL? @lhtpluto 英文不好看不懂

> 怎么解决WSL内存设置问题的，应该怎么操作@lhtpluto 在C:\Users \ \ 下新建.wslconfig .wslconfig内容例子： [wsl2] memory=480GB swap=32GB processors=56 localhostForwarding=true ======================== 需要注意的是，WSL 貌似仅支持64线程，而DEEPSPEED又不支持超线程，因此使用W9-3495X时，需要在BIOS中关闭超线程

> 我把原生模型下面的config.json等全都拷贝到新生成的bin文件同目录下了，将pytorch_model.bin.index 将所有的模型名称改成了pytorch_model.bin，启动moss_inferrance.py报错TypeError: expected str, bytes or os.PathLike object, not NoneType 请问有人成功吧微调后的模型部署推理了吗？应该如何做呢？另，求一个官方微信群的邀请～ 你的.bin文件怎么生成的啊？ 我只生成了.pt文件

> 万分感谢，同卡在fp32的60GB大文件了 是不是需要先转换成fp16 half ?

> 求大神发完整的保存fp16的finetune_moss.py 另，我用 accelerator = Accelerator(mixed_precision='bf16') 训练的也可以吗？