namemzy

我遇到了同样的问题。 环境：3090，cuda11.2, fastdeploy-gpu-python 0.7.0 python3 infer.py --det_model ch_PP-OCRv3_det_infer --cls_model ch_ppocr_mobile_v2.0_cls_infer --rec_model ch_PP-OCRv3_rec_infer --rec_label_file ppocr_keys_v1.txt --image 12.jpg --device gpu --backend trt [INFO] fastdeploy/backends/tensorrt/trt_backend.cc(479)::BuildTrtEngine Start to building TensorRT Engine... [ERROR] fastdeploy/backends/tensorrt/trt_backend.cc(238)::log 4:...

试了一下，成功了，谢谢！

好的，谢谢！ 前两条没问题，第三条， ppocrv3.predict()不能支持多batch推理，可以用ppocr_v3.batch_predict() 但是我用多batch推理之后，并没有获得速度的提升，测试结果如下： Ubuntu 20.04 Server CPU：Gold 6226R GPU：RTX 3090 CUDA：11.2 Paddle：paddlepaddle-gpu 2.3.2.post112 Fastdeploy：fastdeploy-gpu-python 0.8.0 Python：3.8.15 表中所有时间均换算为单张图片耗时，单位ms  下面是我的代码，不知道是不是使用的不对 ```python runtime_option = build_option(args) runtime_option.enable_trt_fp16() # 当使用TRT时，分别给三个模型的runtime设置动态shape,并完成模型的创建. # 注意: 需要在检测模型创建完成后，再设置分类模型的动态输入并创建分类模型,...

理解了，谢谢解答！

你好，我单独测试了rec模型的多batch推理，速度有比较大的提升，如下表  但是我在跑整个pp_ocr_v3的时候，对比python版本和c++ 版本的推理速度，c++版本居然更慢（如下表），请问有可能是什么原因导致的？  测试代码 ``` std::vector batchs = {1, 2, 4, 8, 16}; for (auto batch : batchs) { // 构造batch_images std::vector batch_images; for (int image_id = 0;...