doctor1984

合并后模型无法运行，报错：main: error: failed to load model './models/13B/ggml-model-q4_0.bin'

2

感谢您使用Issue提问模板，请按照以下步骤提供相关信息。我们将优先处理信息相对完整的Issue，感谢您的配合。 *提示：将[ ]中填入x，表示打对钩。提问时删除上面这两行。请只保留符合的选项，删掉其他。* ### 问前必查项目 - [ ] 由于相关依赖频繁更新，请确保按照[Wiki](https://github.com/ymcui/Chinese-LLaMA-Alpaca/wiki)中的相关步骤执行 - [ ] 我已阅读[FAQ章节](https://github.com/ymcui/Chinese-LLaMA-Alpaca/wiki/常见问题)并且已在Issue中对问题进行了搜索，没有找到相似问题和解决方案 - [ ] 第三方插件问题：例如[llama.cpp](https://github.com/ggerganov/llama.cpp)、[text-generation-webui](https://github.com/oobabooga/text-generation-webui)、[LlamaChat](https://github.com/alexrozanski/LlamaChat)等，同时建议到对应的项目中查找解决方案 ### 选择问题类型 基础模型： - [ ] LLaMA - [ ] Alpaca 问题类型： -...

谁能提供一下合并后可以运行的模型？谢谢

1

感谢您使用Issue提问模板，请按照以下步骤提供相关信息。我们将优先处理信息相对完整的Issue，感谢您的配合。 *提示：将[ ]中填入x，表示打对钩。提问时删除上面这两行。请只保留符合的选项，删掉其他。* ### 问前必查项目 - [ ] 由于相关依赖频繁更新，请确保按照[Wiki](https://github.com/ymcui/Chinese-LLaMA-Alpaca/wiki)中的相关步骤执行 - [ ] 我已阅读[FAQ章节](https://github.com/ymcui/Chinese-LLaMA-Alpaca/wiki/常见问题)并且已在Issue中对问题进行了搜索，没有找到相似问题和解决方案 - [ ] 第三方插件问题：例如[llama.cpp](https://github.com/ggerganov/llama.cpp)、[text-generation-webui](https://github.com/oobabooga/text-generation-webui)、[LlamaChat](https://github.com/alexrozanski/LlamaChat)等，同时建议到对应的项目中查找解决方案 ### 选择问题类型 基础模型： - [ ] LLaMA - [ ] Alpaca 问题类型： -...

合并Chinese-Alpaca-Plus不报错，但是运行的时候报错：error loading model: llama.cpp: tensor 'tok_embeddings.weight' has wrong shape; expected [5120 x 32000], got [5120 x 49954]

16

*提示：将[ ]中填入x，表示打对钩。提问时删除这行。只保留符合的选项。* ### 详细描述问题 *请尽量具体地描述您遇到的问题，**必要时给出运行命令**。这将有助于我们更快速地定位问题所在。* ### 运行截图或日志 *请提供文本log或者运行截图，以便我们更好地了解问题详情。* ### 必查项目（前三项只保留你要问的） - [ ] **基础模型**：LLaMA / Alpaca / LLaMA-Plus / Alpaca-Plus - [ ] **运行系统**：Windows / MacOS / Linux - [...

from transformers import AutoTokenizer, TextGenerationPipeline from auto_gptq import AutoGPTQForCausalLM, BaseQuantizeConfig import logging logging.basicConfig( format="%(asctime)s %(levelname)s [%(name)s] %(message)s", level=logging.INFO, datefmt="%Y-%m-%d %H:%M:%S" ) pretrained_model_dir = "Linly-ChatFlow-13B/models_raw/chatflow_13b" quantized_model_dir = "chatflow_13b-4bit" tokenizer = AutoTokenizer.from_pretrained(pretrained_model_dir,...