[Feature] 视觉大模型中视觉部分通过tensorrt

[fighterzzzh]

Motivation

你好！ 请问视觉大模型，例如internvl，考虑过将视觉部分通过tensorrt进行推理吗，我预计这会产生更快的加速?

Related resources

No response

Additional context

No response

[lvhan028]

分离 vision 和 llm 推理，是很好的idea，我们内部在尝试分离部署方式（我们称为协同部署） 不过，我们暂时不想引入 tensorrt，因为不想把项目变得很复杂。