doctor1984

> main: seed = 1684197547 llama.cpp: loading model from ./models/13B/ggml-model-q4_0.bin llama_model_load_internal: format = ggjt v1 (latest) llama_model_load_internal: n_vocab = 32000 llama_model_load_internal: n_ctx = 512 llama_model_load_internal: n_embd = 5120 llama_model_load_internal: n_mult...

> 模型合并的具体命令？提供详细信息。这么看你合并出来的模型似乎就是有问题的。 python merge_llama_with_chinese_lora.py \ --base_model path_to_original_llama_hf_dir \ --lora_model path_to_chinese_llama_plus_lora,path_to_chinese_alpaca_plus_lora \ --output_type pth --output_dir path_to_output_dir 是不是由于我没有GPU的原因？我是用mac M1合并的 CUDA SETUP: Required library version not found: libsbitsandbytes_cpu.so. Maybe you need to compile...

> 是不是tokenizer.model忘复制了？ 复制了，不复制合并不成

> llama.cpp的convert.py脚本有一个参数--dump，你运行一下，看看.pth文件里的embedding/lm_head大小是什么。 没找到，方便加个微信不？我是外行，能力有限，我的微信号是：17600801286，谢谢

> > > llama.cpp的convert.py脚本有一个参数--dump，你运行一下，看看.pth文件里的embedding/lm_head大小是什么。 > > > > > > 没找到，方便加个微信不？我是外行，能力有限，我的微信号是：17600801286，谢谢 > > [https://github.com/ymcui/Chinese-LLaMA-Alpaca/wiki/llama.cpp量化部署#step-2-生成量化版本模型](https://github.com/ymcui/Chinese-LLaMA-Alpaca/wiki/llama.cpp%E9%87%8F%E5%8C%96%E9%83%A8%E7%BD%B2#step-2-%E7%94%9F%E6%88%90%E9%87%8F%E5%8C%96%E7%89%88%E6%9C%AC%E6%A8%A1%E5%9E%8B) > > ``` > python convert.py zh-models/7B/ --dump > ``` > > 运行之后会输出所有权重的大小，你运行完直接把日志复制贴到这里 我这里面就没有这个文件：convert.py

> > > > > > llama.cpp的convert.py脚本有一个参数--dump，你运行一下，看看.pth文件里的embedding/lm_head大小是什么。 > > > > > > > > > > > > 没找到，方便加个微信不？我是外行，能力有限，我的微信号是：17600801286，谢谢 > > > > > > > > > [https://github.com/ymcui/Chinese-LLaMA-Alpaca/wiki/llama.cpp量化部署#step-2-生成量化版本模型](https://github.com/ymcui/Chinese-LLaMA-Alpaca/wiki/llama.cpp%E9%87%8F%E5%8C%96%E9%83%A8%E7%BD%B2#step-2-%E7%94%9F%E6%88%90%E9%87%8F%E5%8C%96%E7%89%88%E6%9C%AC%E6%A8%A1%E5%9E%8B)...

> > > > > > > > > llama.cpp的convert.py脚本有一个参数--dump，你运行一下，看看.pth文件里的embedding/lm_head大小是什么。 > > > > > > > > > > > > > > > 没找到，方便加个微信不？我是外行，能力有限，我的微信号是：17600801286，谢谢 > > > >...

> > > > > llama.cpp的convert.py脚本有一个参数--dump，你运行一下，看看.pth文件里的embedding/lm_head大小是什么。 > > > > > > > > > > > > 没找到，方便加个微信不？我是外行，能力有限，我的微信号是：17600801286，谢谢 > > > > > > > > > [https://github.com/ymcui/Chinese-LLaMA-Alpaca/wiki/llama.cpp量化部署#step-2-生成量化版本模型](https://github.com/ymcui/Chinese-LLaMA-Alpaca/wiki/llama.cpp%E9%87%8F%E5%8C%96%E9%83%A8%E7%BD%B2#step-2-%E7%94%9F%E6%88%90%E9%87%8F%E5%8C%96%E7%89%88%E6%9C%AC%E6%A8%A1%E5%9E%8B) >...

> 先转成llama的格式，再用llama.cpp的脚本做量化，可以量化成int4 int5 int8 请问bin文件转成pth的方法有脚本吗？麻烦分享一个呗，十分感谢

> 可以参考： https://github.com/Tencent/TencentPretrain/blob/main/scripts/convert_tencentpretrain_to_llama.py 非常感谢，我试试哈，谢谢。