littlestone0806

> Hi. Firstly, there is no popup. It's just a slightly dimmed Ukrainian flag showing in the background, and it shows only when a file is not loaded. No dialog...

> > You have been living without war for too long, you may not realize the horror of war and feel that you can use "freedom" as a reason to...

整合包作者来了，因为当时我整合时，bitsandbytes这个库，我替换了一些东西，因为不替换的话，bitsandbytes只支持linux，不支持windows，就会出现上述错误。解决办法就是，把我的整合包里的env\Lib\site-packages\bitsandbytes全部替换你的python环境的bitsandbytes包

确实，希望官方支持windows，我用各种方法试了一天也没能在windows上成功编译triton

虽然我会用WSL2，但是想要普及这个模型太难了，好多人并不会配置WSL2，我只想做一个windows的一键懒人包，让更多人体验到MOSS

改triton这个库的cmake，改了好久，搜遍了github，现阶段没有任何办法。希望官方大大，看能不能用其他库替代triton，我知道的一些LLM的quantization.py是不用triton的

> 你好 请问你是用的什么配置运行微调的 我运行微调报内存不足 我用的V100 16G 我用的M40 24G

> 你好，有请求的示例吗？你这个请求页面可以发一下吗？感谢！！！ https://github.com/littlestone0806/ChatGLM-Client B站也有讲解视频：https://www.bilibili.com/video/BV11h4y1H7Sx/

bitsandbytes可以在windows跑的，首先你需要安装0.35.0版本的bitsandbytes，然后按照如下操作 git clone https://github.com/bmaltais/kohya_ss.git cd kohya_ss cp .\bitsandbytes_windows\*.dll .\venv\Lib\site-packages\bitsandbytes\ cp .\bitsandbytes_windows\cextension.py .\venv\Lib\site-packages\bitsandbytes\cextension.py cp .\bitsandbytes_windows\main.py .\venv\Lib\site-packages\bitsandbytes\cuda_setup\main.py 我这样操作之后，就可以训练了

老哥，我用你的代码，加载模型时不报错，提问题时报这个错 Traceback (most recent call last): File "C:\Users\stone\Desktop\MOSS\env\lib\site-packages\gradio\routes.py", line 401, in run_predict output = await app.get_blocks().process_api( File "C:\Users\stone\Desktop\MOSS\env\lib\site-packages\gradio\blocks.py", line 1302, in process_api result = await self.call_function( File "C:\Users\stone\Desktop\MOSS\env\lib\site-packages\gradio\blocks.py", line 1025,...