Disciple7

使用PaddleDetection导出的Serving量化部署模型，开启--use_trt选项运行时报错

2

使用PaddleDetection，对yolov3_mobilenet_v1模型进行QAT量化。量化后模型经测试，不开启TRT时，PaddleInference可用，PaddleServing可用。开启TRT（Inference添加参数--run_mode=trt_int8、Serving添加参数--use_trt）时，PaddleInference可用，PaddleServing报错。 PaddleServing运行命令：python -m paddle_serving_server.serve --model serving_server --port 9393 --gpu_ids 1 --precision int8 --use_trt 报错如下（会随机报以下两不同错误，出现前提条件不明）： ``` (pdconfig) ubuntu@sunyuke:~/lxd-storage/xzy/PaddleCV/PaddleDetection/inference_model/yolov3_mobilenet_v1_270e_qat_pdserving/yolov3_mobilenet_v1_qat$ python -m paddle_serving_server.serve --model serving_server --port 9393 --gpu_ids 1 --precision int8 --use_trt /home/ubuntu/anaconda3/envs/pdconfig/lib/python3.7/runpy.py:125:...

PaddleDetection使用TensorRT，对进行yolov3_mobilenet_v1_qat推理时报错

2

### 问题确认 Search before asking - [X] 我已经查询[历史issue](https://github.com/PaddlePaddle/PaddleDetection/issues)，没有报过同样bug。I have searched the [issues](https://github.com/PaddlePaddle/PaddleDetection/issues) and found no similar bug report. ### bug描述 Describe the Bug 该问题为此[Issue](https://github.com/PaddlePaddle/PaddleDetection/issues/5726)的后续，在那之后，由于环境和系统配置比较乱，我重新配置了一个新的系统环境，环境附后。 按照官方教程，在VOC数据集上训练了一个yolov3_mobilenet_v1_270e_voc模型，量化config使用默认的yolov3_mobilenet_v1_qat.yml。按照原Issue指示更新到PaddlePaddle 2.3.0.rc0后，使用TRT_INT8不再报tensorrt_subgraph_pass相关错误，但报另一个Pass错误。 PaddleInference命令和报错如下： ``` (pdconfig) ubuntu@sunyuke:~/lxd-storage/xzy/PaddleCV/PaddleDetection$...

from models.querydet.detector import RetinaNetQueryDets RetinaNetQueryDet多加了一个s