Mann
Results
2
comments of
Mann
How to convert a finetuned MOSS model to quantized version model? 请问如何把一个finetune过的MOSS模型转换为量化版的模型呢？
.
How to convert a finetuned MOSS model to quantized version model? 请问如何把一个finetune过的MOSS模型转换为量化版的模型呢？
> 我测了他们的int4，发现量化后的还没有量化前的推理速度快。 量化并不一定会提速，量化主要是为了缩小模型占用显存。