TensorRT_Inference_Demo icon indicating copy to clipboard operation
TensorRT_Inference_Demo copied to clipboard
verified publisher icon Li-Hongda

转ONNX操作

Open iwanggp opened this issue 2 years ago • 3 comments

你这转ONNX需要添加什么操作吗？需要添加batch和dynamic吗

iwanggp avatar May 25 '23 08:05 iwanggp

@iwanggp 你好，现阶段还不支持动态shape，之后我会针对这一点再做改进。转ONNX时，batch可以先设为1，动态batch即将更新。

Li-Hongda avatar May 25 '23 14:05 Li-Hongda

那现在支持批处理吗？能一次推理多张图片吗

iwanggp avatar May 26 '23 02:05 iwanggp

@iwanggp 你好，我刚刚更新了支持动态batch的ONNX模型转TRT模型和相应的推理。但需要注意的是在相同的batchsize设置下，动态维度的模型推理速度是低于静态模型的。所以可以尝试静态的multi-batch推理~

Li-Hongda avatar May 26 '23 13:05 Li-Hongda