DEGAN

Results 3 comments of


                                            DEGAN

onnxruntime.capi.onnxruntime_pybind11_state.InvalidProtobuf: [ONNXRuntimeError] : 7 : INVALID_PROTOBUF : Load model from moss-moon-003-sft-plugin failed:Protobuf parsing failed

想问一下，你是怎么转的onnx呢

How to convert a finetuned MOSS model to quantized version model? 请问如何把一个finetune过的MOSS模型转换为量化版的模型呢？

我测了他们的int4，发现量化后的还没有量化前的推理速度快。

请问有moss hf版转换到onnx的脚本提供吗

你转成onnx了吗？速度变快了吗？