MiniCPM-V icon indicating copy to clipboard operation
MiniCPM-V copied to clipboard

请问是否可以将vpm和resampler 这2个模型转为tensorrt来加速推理呢?

Open wu1143100799 opened this issue 1 year ago • 1 comments

请问是否可以将vpm和resampler 这2个模型转为tensorrt来加速推理呢?

wu1143100799 avatar Aug 28 '24 06:08 wu1143100799

可以的,我们是开源模型和代码,你可以按你的需要修改代码来适配你需要的环境。

tc-mb avatar Aug 29 '24 03:08 tc-mb

请问是否可以将vpm和resampler 这2个模型转为tensorrt来加速推理呢?

这两个模块的耗时貌似并不是大头

Single430 avatar Mar 12 '25 02:03 Single430