FlagEmbedding bge-rerank-base用onnx部署显存持续增长不会释放，直到溢出

bge-rerank-base用onnx部署显存持续增长不会释放，直到溢出

May 17 '24 03:05 ZTurboX

@ZTurboX , you can refer to https://github.com/FlagOpen/FlagEmbedding/issues/789

May 17 '24 09:05 staoxiao

@ZTurboX , you can refer to #789

torch model not has this problem, but convert to onnx model has this problem even set batch_size and max_length

May 20 '24 00:05 ZTurboX

@ZTurboX 我记得这个应该是ONNX自己的问题。我之前使用onnx部署其他的模型的时候，在GPU里面的表现也是这样。另外，我想问下。你使用onnx推理之后，GPU中，效率和原来的torch相比，有提升吗？我转的onnx模型，效率方面并没有提升~~~~

Jul 23 '24 07:07 Tian14267

@ZTurboX 我记得这个应该是ONNX自己的问题。我之前使用onnx部署其他的模型的时候，在GPU里面的表现也是这样。另外，我想问下。你使用onnx推理之后，GPU中，效率和原来的torch相比，有提升吗？我转的onnx模型，效率方面并没有提升~~~~

有提升

Jul 23 '24 09:07 ZTurboX

bge-rerank-base用onnx部署显存持续增长不会释放，直到溢出

请问您解决了这个问题吗，我在进行压测的时候也发现了它不会释放

Sep 19 '24 08:09 EvanSong77

bge-rerank-base用onnx部署显存持续增长不会释放，直到溢出

请问您解决了这个问题吗，我在进行压测的时候也发现了它不会释放

已解决

Sep 19 '24 11:09 EvanSong77

bge-rerank-base用onnx部署显存持续增长不会释放，直到溢出

请问您解决了这个问题吗，我在进行压测的时候也发现了它不会释放

已解决

请问怎么解决的

Sep 20 '24 00:09 ZTurboX

bge-rerank-base用onnx部署显存持续增长不会释放，直到溢出

请问您解决了这个问题吗，我在进行压测的时候也发现了它不会释放

已解决

请问怎么解决的

https://github.com/microsoft/onnxruntime/issues/19445 然后最好再加一个设置最大上限显存，看需求

Sep 20 '24 10:09 EvanSong77

bge-rerank-base用onnx部署 显存持续增长 不会释放，直到溢出