Li-Hongda
Results
13
comments of
Li-Hongda
@iwanggp 你好，现阶段还不支持动态shape，之后我会针对这一点再做改进。转ONNX时，batch可以先设为1，动态batch即将更新。
@iwanggp 你好，我刚刚更新了支持动态batch的ONNX模型转TRT模型和相应的推理。但需要注意的是在相同的batchsize设置下，动态维度的模型推理速度是低于静态模型的。所以可以尝试静态的multi-batch推理~
你好，最近在找工作，所以暂时没有时间和精力来支持，过段时间会完成对windows系统的支持。