FastDeploy icon indicating copy to clipboard operation
FastDeploy copied to clipboard

[Other] Add Model Clone function for PaddleClas && PaddleDet && PaddleSeg

Open felixhjh opened this issue 3 years ago • 2 comments

PR types(PR类型)

Other

Describe

Multiple PaddleClas NO Clone Example:

auto model = fastdeploy::vision::classification::PaddleClasModel(model_file, params_file, config_file, option);

auto model2 = fastdeploy::vision::classification::PaddleClasModel( model_file, params_file, config_file, option);

Multiple PaddleClas Clone Example:

auto model = fastdeploy::vision::classification::PaddleClasModel(model_file, params_file, config_file, option);

auto model2 = model.Clone();

硬件:Intel(R) Xeon(R) Gold 6271C CPU @ 2.60GHz
模型:ResNet50_vd_infer 后端:CPU OPENVINO后端

单进程内初始化多个模型,内存占用

模型数 model.Clone()后 Clone后model->predict()后 不Clone模型初始化后 不Clone后model->predict()后
1 322M 325M 322M 325M
2 322M 325M 559M 560M
3 322M 325M 771M 771M

模型多线程预测内存占用

线程数 model.Clone()后 Clone后model->predict()后 不Clone模型初始化后 不Clone后model->predict()后
1 322M 337M 322M 337M
2 322M 343M 548M 566M
3 322M 347M 752M 784M

felixhjh avatar Dec 04 '22 17:12 felixhjh

这里说明的内存的变化,是在什么后端,什么硬件上的信息

jiangjiajun avatar Dec 05 '22 01:12 jiangjiajun

这里说明的内存的变化,是在什么后端,什么硬件上的信息

done

felixhjh avatar Dec 05 '22 07:12 felixhjh

@felixhjh Tutorials目录缺少一个README.md说明multithread的用法,效果,以及支持的模型列表

jiangjiajun avatar Dec 12 '22 03:12 jiangjiajun