sukibean163

4*4090gpu for int4 model inference error

1

你好，使用4个4090gpu卡量化推理，产生错误是什么原因呢？其中量化模型目录和model_glm_130b_4090_int4.sh内容如下： # int4模型和脚本 ## 模型 $ tree THUDM/chatglm-130b-int4/ THUDM/chatglm-130b-int4/ |-- 49300 | |-- mp_rank_00_model_states.pt | |-- mp_rank_01_model_states.pt | |-- mp_rank_02_model_states.pt | `-- mp_rank_03_model_states.pt `-- latest 1 directory, 5 files ##...

bad marshal data?

2


请问如何继续训练？

2

如题，我在train.py的pl_model = MyTransformer(**transformer_args)后面尝试加上 from deep_training.nlp.models.petl.lora.petl_model import PetlModel PetlModel.from_pretrained(pl_model.backbone, os.path.join(output_weight_dir, "last")) 报错了。