FastDeploy
FastDeploy copied to clipboard
[Other] Add Model Clone function for PaddleClas && PaddleDet && PaddleSeg
PR types(PR类型)
Other
Describe
Multiple PaddleClas NO Clone Example:
auto model = fastdeploy::vision::classification::PaddleClasModel(model_file, params_file, config_file, option); auto model2 = fastdeploy::vision::classification::PaddleClasModel( model_file, params_file, config_file, option);Multiple PaddleClas Clone Example:
auto model = fastdeploy::vision::classification::PaddleClasModel(model_file, params_file, config_file, option); auto model2 = model.Clone();
硬件:Intel(R) Xeon(R) Gold 6271C CPU @ 2.60GHz
模型:ResNet50_vd_infer
后端:CPU OPENVINO后端
单进程内初始化多个模型,内存占用
| 模型数 | model.Clone()后 | Clone后model->predict()后 | 不Clone模型初始化后 | 不Clone后model->predict()后 |
|---|---|---|---|---|
| 1 | 322M | 325M | 322M | 325M |
| 2 | 322M | 325M | 559M | 560M |
| 3 | 322M | 325M | 771M | 771M |
模型多线程预测内存占用
| 线程数 | model.Clone()后 | Clone后model->predict()后 | 不Clone模型初始化后 | 不Clone后model->predict()后 |
|---|---|---|---|---|
| 1 | 322M | 337M | 322M | 337M |
| 2 | 322M | 343M | 548M | 566M |
| 3 | 322M | 347M | 752M | 784M |
这里说明的内存的变化,是在什么后端,什么硬件上的信息
这里说明的内存的变化,是在什么后端,什么硬件上的信息
done
@felixhjh Tutorials目录缺少一个README.md说明multithread的用法,效果,以及支持的模型列表