YueZhang
YueZhang
@yadav-sumit I meat the same issue. Did you solve it?
I have the same question！ I think you are right
我看你用的是qat的方式做的量化，68行有打印训练后的test_accuracy，与原始变化大吗？我没对比过onnx与pytorch的结果，我使用时是pytorch转onnx转tensorrt，对比pytorch与tensorrt的结果，pytorch_quantization这个是为转tensorrt设计的，我不确定onnx对这块是否有效
你是分类模型吧，你测试对比accuracy就行了，纯看模型输出结果每个值的差异，意义不大
我使用的方法是 利用int8量化后的tensorrt模型对测试集或者验证集进行推理，保留推理结果，与gt进行相关指标的统计，对比fp16的相关指标，评价精度损失
抱歉，没遇到这种情况。
感谢关注 方法是一样的 空了可能会出yolov8
> e function arguments. The 解决了吗 我使用的是8.5.3.1版本 你测试一下是否是版本问题
关注一下qat训练代码中加入的这些量，在训练中会直接用int8相关算子替换原始的算子，导出的onnx可以看到
> 报错。batch也调整为640，640了，ptq转engine报错： [07/25/2024-09:30:30] [TRT] [W] onnx2trt_utils.cpp:374: Your ONNX model has been generated with INT64 weights, while TensorRT does not natively support INT64. Attempting to cast down to INT32. .\onnx2trt_ptq.py:113: DeprecationWarning:...