风云再起
风云再起
### 描述该错误 在https://studio.intern-ai.org.cn/ 的 A100 (1/4) * 2 配置的服务器上 运行 [web_demo.py](https://github.com/InternLM/InternLM/blob/main/chat/web_demo.py) 显式输出  显式输出且没有停止输出  ### 环境信息 | NVIDIA-SMI 535.54.03 Driver Version: 535.54.03 CUDA Version: 12.2 | Name: torch Version:...
### Motivation llmdeploy 支持在V100 显卡上部署 GPTQ量化模型 ### Related resources Qwen/Qwen1.5-72B-Chat-GPTQ-Int4 TheBloke/Llama-2-7B-Chat-GPTQ 因为llama qwen都提供了GPTQ模型 ### Additional context _No response_