TensorRT-Alpha icon indicating copy to clipboard operation
TensorRT-Alpha copied to clipboard

多线程运行,速度增加

Open CF-chen-feng-CF opened this issue 2 years ago • 3 comments

单线程运行时,一张图片4ms,两个线程开启后,每个线程都变成8ms, 这是为什么? 用opencv的GPU版本推断时,2个线程,速度会有轻微增加,但不会直接变成2倍,

CF-chen-feng-CF avatar Dec 03 '23 09:12 CF-chen-feng-CF

可能是线程组塞,考虑一个engine下面创建多个context,每个contxet对应一个线程

FeiYull avatar Dec 03 '23 13:12 FeiYull

@FeiYull 把engine和context放类的成员变量中,多次实例化这个类放在不同的线程中,他们因该是相互独立的才对,理论上不会有线程阻塞

CF-chen-feng-CF avatar Dec 04 '23 07:12 CF-chen-feng-CF

@CF-chen-feng-CF 把engine和context放类的成员变量中,多次实例化这个类放在不同的线程中,他们因该是相互独立的才对,理论上不会有线程阻塞。 我现在的实现是一个类中实例化多个engine 和context,这种可以吗

jiaoxiaosong avatar Feb 29 '24 13:02 jiaoxiaosong