BUJIDAOVS

text-generation-webui是目前非常通用的一键部署平台，可以通过可视化提高各项流程效率，降低入门门槛。 现在Instruction template部分是有适配百川模型的，如果lora训练也能适配对于baichuan的推广应该会很不错。 个人体验中baichuan13b的双语能力都很强，对齐版本的价值观等方面也很出色，如果能有方便快捷的微调训练手段想必在中文社区会很有优势。

Feature Request: Add support for custom OpenAI URL to utilize third-party OpenAI API services

6

I have observed that when integrating with GPT, it defaults to accessing api.openai.com. However, I would like to make API requests from a different URL or proxy url. I kindly...

support qwen3 /think & /no_think & enable_thinking parameter

1

1. Add support for parsing the "/think" and "/no_think" commands, with "/no_think" mode as the default. 2. When the model does not be told to think, add "\n\n\n\n" to the...

希望尽快支持Qwen3-30B-A3B-Instruct-2507的AWQ量化

6

尝试使用对Qwen3-30B-A3B-Instruct-2507进行量化时报错 swift export \ --model /model/Qwen3-30B-A3B-Instruct-2507 \ --dataset 'swift/Chinese-Qwen3-235B-2507-Distill-data-110k-SFT' \ --device_map auto \ --quant_n_samples 64 \ --quant_batch_size -1 \ --max_length 8192 \ --quant_method awq \ --quant_bits 4 \ --output_dir /model/Qwen3-30B-A3B-Instruct-2507-AWQ...

[Feature] 请求支持compressed-tensors的各种量化格式

10

### Motivation compressed-tensors是目前更主流的模型量化库，目前其AWQ等量化模型被vllm等推理引擎广泛支持。我注意到近期lmdeploy的更新频率非常缓慢，对于新模型、新量化库等支持趋于停滞，不知道还是否有跟进社区主流生态的计划？ ### Related resources _No response_ ### Additional context _No response_