OSError: Error no file named pytorch_model.bin, tf_model.h5, model.ckpt.index or flax_model.msgpack found in directory /home/ps/app/edison/TigerBot/tigerbot-70b-chat-4bit-exl2.

[Edisonwei54]

我完全按照教程进行操作，但是最后打算进行模型推理，不管在命令行还有webdemo都是报这个错误

[wangyu1997]

麻烦贴一下详细的运行环境、命令以及下载模型文件夹的文件情况

[Edisonwei54]

麻烦贴一下详细的运行环境、命令以及下载模型文件夹的文件情况

环境： safetensors==0.3.1 datasets==2.10.1 accelerate>=0.20.3 protobuf==3.20.2 transformers>=4.34.0 scikit-learn==1.0.2 torch>=2.0.0 evaluate==0.4.0 texttable==1.6.7 toml==0.10.2 numpy>=1.22.0 sentencepiece==0.1.98 fire==0.5.0 flash-attn==2.1.1 deepspeed==0.9.5 streamlit==1.24.1

命令： CUDA_VISIBLE_DEVICES=0 python infer.py --model_path /home/ps/app/edison/TigerBot/tigerbot-70b-chat-4bit-exl2 --max_input_length 1024 --max_generate_length 1024 --streaming True

文件：

[wangyu1997]

infer.py暂时不支持exllamav2量化模型 如果要使用量化模型请参考readme使用other_infer里的相关命令 或者使用base model进行推理