Ben Rood

还会有13B-plus的lora放出来吗？

2

或者是认为13b的改善比较有限，不在在那个的基础上炼了？

fastchat-t5 quantization support?

4

Is there anyway to run it in 4G or less vram? ggml? or gptq?

[Help] 如果最终准备量化部署，是应该从int4的模型开始训练吗？

13

### Is there an existing issue for this? - [X] I have searched the existing issues ### Current Behavior 我用peft的lora在 chatglm2 训练了一个Lora（参考了 @shibing624 https://github.com/shibing624/MedicalGPT 里面的方法），只训练了一个epoch。 训练后测试效果，发现如果缺省模式(fp16)输出，效果很稳定。 如果加载lora后，量化到8bit或者4bit运行，则结果非常不稳定，有时达到了部分训练后的效果，有时候和完全没训练的原始模型输出一样。 ### Expected Behavior...

## 希望能帮到想快速尝试但是觉得太麻烦的朋友 适用windows，稍作改动应该也可以在linux下运行（主要脚本基于bash）。 ## 前置条件及原理 **需要本地已经有正常运行的automatic111的web-ui** 大部分想本机玩太乙的人，基本上应该都有一套正常运行的新版本 automatic111的web-ui安装了 - 用python的pth模式可以共享venv下面的site-package，避免重复安装4G多的 pytorch模块 - repositories下的taming-transformers、BLIP等4个目录可以复用，用符号链接即可，可以节省600M - 太乙模型中，其实也只有主ckpt和text_encoder目录下的pytorch_model.bin是必须的，可以仅仅下载这两个文件 4.4G，比整个git clone节省5G左右 - 主ckpt其实是可以降精度到fp16的，这样还可以节省2G多。 上述第三四步我初步测试没问题，不知道还有无其它风险请开发者指正。 ## 执行步骤或脚本 假定automatic111的web-ui装在 D:\AI\stable-diffusion-webui 两个脚本保存到本地的D:\AI 目录 要求本地装了git for windows，能进git bash，打开git...

http代理协议入站和pip不兼容？[Bug]

2

**Describe the bug【描述 bug】** 服务器上启动verysimple客户端，入站 ··· [[listen]] protocol = "http" host = "127.0.0.1" port = 10268 ··· pip3用此代理安装会报错 **To Reproduce【如何复现该bug】** 执行 ``` pip3 --proxy http://localhost:10268 search numpy ``` 响应 ```...

请教一下Chinese-Alpaca-Plus-13B继续做peft微调需要多少显存？

4

有没有什么量化方法在对微调效果影响不大的情况下，降低显存需求 如果是4个没有NVLink的V100（32G显存），是否实际上只能当成4倍速的32G显存来微调？

nightly install cmd error?

1

In page [installation](https://triton-lang.org/main/getting-started/installation.html), it says ``` pip install -U --index-url https://aiinfra.pkgs.visualstudio.com/PublicPackages/_packaging/Triton-Nightly/pypi/simple/triton-nightly ``` I think it should be ``` pip install -U --index-url https://aiinfra.pkgs.visualstudio.com/PublicPackages/_packaging/Triton-Nightly/pypi/simple triton-nightly ```

Recent White List issues

4

As we know, some ISP use white list (port and more?) recently, and the logic is: TCP handshake --> pass Server First Return packet --> pass Client first packet -->...

从BaiChuan2-13-Base微调的代码怎么使用 stream_response 等接口？

1

用lima数据集微调了两个简单版本，一个使用baichuan2模板，一个使用vicuna模板。 用transformer模式大致能推理，但是转换后使用stream_response接口返回很混乱。 用stream_response时能有办法指定模板吗？

[Bug]: Int8 k/v cache calibrate don't work with QWen model?

1

### Your current environment ```text Collecting environment information... PyTorch version: 2.3.0+cu121 Is debug build: False CUDA used to build PyTorch: 12.1 ROCM used to build PyTorch: N/A OS: Ubuntu 22.04.4...