LSQuantization
LSQuantization copied to clipboard
在计算alpha梯度时的一些问题
在FunLSQ类中,您计算grad_alpha时是使用如下代码:
grad_alpha = ( (indicate_small * Qn + indicate_big * Qp + indicate_middle * (-q_w + q_w.round())) * grad_weight * g).sum().unsqueeze(dim=0)
我的问题如下
1、调用sum()这个方法的意义在于何处?按论文的理解好像不需要sum()?
2、您这个方法适用于pre channel的量化方法吗?