ppq icon indicating copy to clipboard operation
ppq copied to clipboard

自定义量化配置的几个问题

Open YueYiHuan opened this issue 2 years ago • 2 comments

您好,我想问下如果对于像Resnet这种有残差网络的模型,其中add和concat的输入的两层卷积层在量化后scale可能不一致,但我的硬件推理定点模型实现时对于add和concat并不能添加反量化操作,就会出现定点模型执行add或concat之后相对于float模型差异非常大的问题,请问PPO可以指定add和concat前的卷积scale为固定值吗?然后通过qat来降低误差?

YueYiHuan avatar Oct 24 '23 08:10 YueYiHuan

可以,但我们叫PPQ,你可以参考 program_entrance_2.py

ZhangZhiPku avatar Oct 27 '23 08:10 ZhangZhiPku

可以,但我们叫PPQ,你可以参考 program_entrance_2.py 抱歉,打错了,感谢大佬回复,PPQ确实好用,点赞。另外我想问下,PPQ是否可以导出vitis-ai能调用的量化模型呢?目前使用vitis-ai自带的量化掉点比较严重,使用mqbench尝试导出过,但编译xmodel出问题了,PPQ如果做的话大概是怎样的流程呢?

YueYiHuan avatar Nov 01 '23 07:11 YueYiHuan