Null.Set
Null.Set
将setup.py 中的CUDA_HOME 手动改成 /usr/local/cuda 而不是默认的 usr/local/cuda 就ok 了
我试了下, 可以用本地原生的chatglm2 6b 的模型进行推理, 但是效果没法看, 应该需要结合给的工具调用数据集微调下模型.
我是本地起一个glm2 的openai api , 继承LLM新起一个类, 用requests.post 实现一下generate 功能就行了
其他分支下复制过去就行了
I had the same problem: I couldn't start server on M1 pro mac, but work on ubuntu 18.04. :) At the same time, both stdout.log and stderr.log under logs are...