Peihan

Just for someone who met the same issue, I have tried link `_pywrap_tensorflow_internal.so` to build a TF custom-op, it works fine.

@Huihuihh 您好，您现在使用的是Paddle训练框架前向来做的推理，训练框架对Jetson GPU目前没有做特定的优化，性能的确可能存在问题。 可以尝试参考 [NV Jetson上预测部署示例](https://paddle-inference.readthedocs.io/en/latest/demo_tutorial/cuda_jetson_demo.html) 来做推理，调用Paddle-Inference预测库，GPU性能会有较大提升

@Huihuihh 您好，Paddle-Inference 支持 ssd_mobilenet_v1 推理，该模型在 TX2 上进行过测试，batch_size

@Huihuihh 这是因为目前develop版本，2.0版本等新增了编译选项`WITH_TENSORRT`，默认是关闭的，需要同时加上 ```shell -DWITH_TENSORRT=ON -DTENSORRT_ROOT=/usr/lib/aarch64-linux-gnu/ ``` 参考：https://github.com/PaddlePaddle/Paddle/blob/develop/CMakeLists.txt#L31 另外目前我们提供编译好的 Jetpack 4.3 版本的C++推理库，如果您的Jetson是 Jetpack4.3版本，可以用我们编译好的库 2.0-rc1 下载链接：https://paddle-inference-lib.bj.bcebos.com/2.0.0-rc0-nv-jetson-cuda10-cudnn7.6-trt6/paddle_inference.tgz 官网链接：https://paddleinference.paddlepaddle.org.cn/user_guides/download_lib.html 如果需要使用2.0正式版，可以关注下Paddle官网，会在近期更新C++库的下载链接，目前已经完成了编译。

> cmake的时候，这个是不是就显示开启了tensorrt > > ``` > Current TensorRT header is /usr/include/aarch64-linux-gnu/NvInfer.h. Current TensorRT version is v7 > ``` @Huihuihh 是的。而且编译完成后，可以查看 `paddle_inference_install_dir/version.txt` 文件，会有如下信息，有TensorRT信息则表示TensorRT联编成功了 ```shell GIT COMMIT ID: xxxxx WITH_MKL: ON WITH_MKLDNN:...

@tianhechao 您好，gpu和tensorrt无法正常推理可能有以下原因，可以尝试排查下 1. 检查您的机器安装的`JetPack版本`是否和下载的`paddle-inference预测库的JetPack版本一致`。 2. 检查所下载的 `paddle-inference预测库` 架构是否是 volta架构(TX2对应架构)，或者是全架构的 以下脚本可以查询您下载的 `paddle-inference预测库` so的 sm_ 符号，相关符号对应架构请参考 [Matching CUDA arch and CUDA gencode for various NVIDIA architectures](https://arnon.dk/matching-sm-architectures-arch-and-gencode-for-various-nvidia-cards/) ```shell cuobjdump --dump-ptx libpaddle_inference.so | grep...