nobody
nobody
我web-ui直接启动的时候报如下错误 启动命令：python server.py --model chinese-alpaca-13b-plus-quantized --cpu 
@StephenDWright I also tried to enable GPU acceleration, but it was not successful. Can you give me more details? Thank you.
@StephenDWright I didn't encounter any errors, but the GPU just doesn't work, and I feel like my CUDA toolkit hasn't been fixed properly :(
> > @StephenDWright我没有遇到任何错误，但 GPU 无法正常工作，我觉得我的 CUDA 工具包没有得到正确修复:( > > 它是什么类型的 GPU，当模型加载时，它会输出什么？它应该在接近尾声时输出类似这样的内容。 > > llama_model_load_internal：[cublas] 将 32 层卸载到 GPU llama_model_load_internal：[cublas] 使用的总 VRAM：6656 MB > > 当你跑的时候 > > $Env:CMAKE_ARGS="-DLLAMA_CUBLAS=on"; $环境：FORCE_CMAKE=1；py ./setup.py...