在青春迷失的咖啡馆
在青春迷失的咖啡馆
> > deepseek team does not offer gguf > > Will the GGUF offered by others work? https://huggingface.co/leafspark/DeepSeek-V2-Chat-GGUF 我试过下载别人转换的GGUF都没发运行；然后huggingface下载原始的，通过llama.cpp，貌似arch不支持
跑不起来；网上提供的GGUF都没法运行，下载原始模型通过最新llama.cpp可以转换成gguf，但是还是'error loading model architecture: unknown model architecture: 'deepseek2''"
Mac M系列这个问题能搞定么？我都是本地下载好的模型自定义注册 Model Family：deepseek-chat（other也一样） xinference：0.12.0
是的，我试了qwen 0.5B，7B，14B，用llama.cpp转换F16的GGUF，回答还都是错乱的
> 这个是阿里自己做的数据集，还是公共认可额数据集？You can download the data from [here](https://cutt.ly/m3exam-data). 你能够下载成功吗？
Uploading LFS objects: 100% (1/1), 1.2 GB | 0 B/s, done. Enumerating objects: 13, done. Counting objects: 100% (13/13), done. Delta compression using up to 12 threads Compressing objects: 100%...