FastDeploy icon indicating copy to clipboard operation
FastDeploy copied to clipboard

想问下关于openvino的核显推理加速大概什么时候添加支持?

Open kc-w opened this issue 3 years ago • 9 comments

kc-w avatar Oct 08 '22 05:10 kc-w

当前还没机型可以测试,你有自己添加测试过吗?

jiangjiajun avatar Oct 09 '22 01:10 jiangjiajun

我把这改成gpu了没用,会报错,你们的openvino和官网上的openvino不一样呀,core.hpp文件里的内容都不同 image

kc-w avatar Oct 10 '22 06:10 kc-w

我把这改成gpu了没用,会报错,你们的openvino和官网上的openvino不一样呀,core.hpp文件里的内容都不同 image

你可以下载官网的OpenVINO来编译FastDeploy,编译时通过OPENVINO_DIRECTORY来指定下载的目录即可。 目前FastDeploy在Linux平台自动下载的版本,只包含CPU

jiangjiajun avatar Oct 10 '22 07:10 jiangjiajun

我编译的平台就是win10,不是linux

kc-w avatar Oct 10 '22 11:10 kc-w

试下重新编译FastDeploy,通过-DOPENVINO_DIRECTORY指定到你自己下载的OpenVINO路径

jiangjiajun avatar Oct 11 '22 05:10 jiangjiajun

我指定的-DOPENVINO_DIRECTORY目录好像没效果,还是会去下载然后用下载后的openvino,我后来手动把自动下载后的openvino内容替换成我自己下载的openvino,编译之后还是会在下面的位置报错

cmake .. -G "Visual Studio 16 2019" -A x64 -DENABLE_OPENVINO_BACKEND=ON -DENABLE_TRT_BACKEND=ON -DENABLE_VISION=ON -DENABLE_VISION_VISUALIZE=ON -DWITH_GPU=ON -DTRT_DIRECTORY="D:\TensorRT-8.0.3.4" -DCUDA_DIRECTORY="C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.3" -DOPENVINO_DIRECTORY="E:\projectTest\openvino_2022.2.0\runtime" -DOPENCV_DIRECTORY="D:\opencv-4.3.0" -DCMAKE_INSTALL_PREFIX="E:\FastDeploy\build\lib"

kc-w avatar Oct 11 '22 08:10 kc-w

指定了仍然会下载吗,那不太合理,@joey12300 看下?

jiangjiajun avatar Oct 11 '22 08:10 jiangjiajun

@kc-w 您好,我下面的PR修复了指定路径仍然自动下载OpenVINO的bug,您拉一下最新代码,把之前编译缓存的文件清空重新编译一下试试。 https://github.com/PaddlePaddle/FastDeploy/pull/348

joey12300 avatar Oct 12 '22 15:10 joey12300

@kc-w 您好,我下面的PR修复了指定路径仍然自动下载OpenVINO的bug,您拉一下最新代码,把之前编译缓存的文件清空重新编译一下试试。 #348

@joey12300 自动下载的问题已解决

kc-w avatar Oct 13 '22 03:10 kc-w

此ISSUE由于一年未更新,将会关闭处理,如有需要,可再次更新打开。

jiangjiajun avatar Feb 06 '24 04:02 jiangjiajun