FastDeploy icon indicating copy to clipboard operation
FastDeploy copied to clipboard
verified publisher icon PaddlePaddle

trt fp16速度和fp32无差异，并没有提速

Open txy00001 opened this issue 1 year ago • 1 comments

我用fastdeploy进行trt后端ppocrv4推理，结果fp32的耗时和fp16一样，是什么原有呢？

以下为我的代码： image image image image 这是结果 image

txy00001 avatar Feb 28 '24 09:02 txy00001

可能是：

  1. 模型较小
  2. trt版本较低 或 trt支持该模型的fp16算子较小

heliqi avatar Feb 29 '24 11:02 heliqi