kelrose

trust_remote_code=True错误以及model_dir大小写和use_onnx=True

2

原版程序docker运行报trust_remote_code=True错误， 将mosec_server.py第184行改为： tokenizer = AutoTokenizer.from_pretrained(MODEL_DIR, trust_remote_code=True) 并将174的小写改为大写MODEL_DIR，之后运行又爆出错误： onnxruntime.capi.onnxruntime_pybind11_state.InvalidProtobuf: [ONNXRuntimeError] : 7 : INVALID_PROTOBUF : Load model from moss-moon-003-sft-plugin-int4 failed:Protobuf parsing failed. 修改384行 use_onnx=False 又爆出trust_remote_code=True错误。