关于量化公式问题

[ywdblog]

老师，https://github.com/chenzomi12/AISystem/blob/main/04Inference/03Slim/02Quant.md

量化部分 ：

非饱和量化 非饱和量化方法计算浮点类型 Tensor 中绝对值的最大值 abs(max),将其映射为 127，则量化比例因子 scale = |max|/127

我觉得有点问题，高精度转低精度，然后按照这公式 scale 肯定<1 ,根据量化公式 r=输入值*s ，那这个数值还大了，这和常理不符合把

另外我也和 https://iq.opengenus.org/basics-of-quantization-in-ml/ 比较了，感觉您书中量化公式这一块，整个逻辑我可能理解反了，请指教！

[chenzomi12]

欢迎大家一起讨论，多给点吐槽和意见，我之前正常推理过来是对的。

[Hongbosherlock]

@ywdblog scale有两种计算方式:

• 一种是 scale=｜max｜/127,则 Q=R/scale
• 另一种是scale = 127/|max|,则Q = R · scale

不知道是否解答了你的问题