FastDeploy
FastDeploy copied to clipboard
运行出错
环境
- 【FastDeploy版本】:
- 【编译命令】 git clone https://github.com/PaddlePaddle/FastDeploy.git cd FastDeploy/python export ENABLE_ORT_BACKEND=ON export ENABLE_PADDLE_BACKEND=ON export ENABLE_OPENVINO_BACKEND=ON export ENABLE_VISION=ON export ENABLE_TEXT=ON export ENABLE_TRT_BACKEND=ON export WITH_GPU=ON export TRT_DIRECTORY=/Paddle/TensorRT-8.6.1.6 export CUDA_DIRECTORY=/usr/local/cuda
export OPENCV_DIRECTORY=/usr/lib/x86_64-linux-gnu/cmake/opencv4 \
python setup.py build python setup.py bdist_wheel
-
【系统平台】: Linux x64
-
【硬件】: Nvidia GPU 4090, CUDA 11.7 CUDNN 8.9
-
【编译语言】: Python3.8等
-
【模型跑不通】
我的执行脚本:
看起来像是用法不对,从代码报错来看这个det_model现在是个str, 可以贴下更完整的代码,或者调试看下det_model的值是否符合你的预期。
看起来像是用法不对,从代码报错来看这个det_model现在是个str, 可以贴下更完整的代码,或者调试看下det_model的值是否符合你的预期。
现在跑通了,出来的结果也符合预期,但是我开启FP16,速度和fp32的基本一样,没有明显的加速,是为啥呢?
以下是我的代码
是我开启fp16的方法错了么?,可以正常保存cache_16.trt
你这个加速的问题现在解决了吗@txy00001
你这个加速的问题现在解决了吗@txy00001 我已经改掉了,有0.02-0.04s的提升