leiqing
leiqing
Hello, we have done a Source-Free compression training function, and the benefits of YOLOv7 are as follows. I want to submit a PR, is it ok? | model | method...
1. 修改了第一段问题：1公里太虚了，具体是啥给用户说清晰。（参照的mindspore Serving） 2. 改了主要特性里面的加粗+X2Paddle的大写拼写。 3. 对开发流程这里有点疑惑，开发流程报错：环境安装---》开发服务端/客户端代码----〉服务化部署；但其中二中又写了快速开发（看到这里，我想点进去直接开始，我因为就是快速开始，类似于tf的：Serve a Tensorflow model in 60 seconds），感觉有点乱。 我在想这里就写快发服务端/客户端程序就行，不加链接，在快速开始里面加链接是不是比较好？ 4. “三.服务部署” 中，上面把docker和k8s，我会理解这是一个level的东西，但三只写了k8s？ 5.缺一个Paddle Serving综述的图，我学了下mindspore和triton都有，图会让人感觉更直观。
If you want FastDeploy to support new AI models/new hardware, or build an ecosystem with FastDeploy, please feel free to contact us： 1. Hardware: Example:Amlogic A311D 2. OS: Example:Linux 3....
## 模型 （CV、NLP、Speech、Cross-modal） - [ ] PP-Tracking(Doing) - [ ] Robust Video Matting(Doing) ## 平台& 硬件 （云、边、端） - [ ] Android ARM CPU - - [ ] Picodet(Doing) - -...
YOLOv7 Inference with TensorRT/ONNXRuntime/OpenVINOPython/C++ Windows/Linux https://github.com/PaddlePaddle/FastDeploy/blob/develop/examples/vision/detection/yolov7/README_EN.md
YOLOv5、YOLOv6、YOLOv7、PP-YOLOE的自动压缩及部署 1.直播视频回放链接：https://www.bilibili.com/video/BV11Y4y1F751?spm_id_from=333.337.search-card.all.click 2.自动压缩工具：https://github.com/PaddlePaddle/PaddleSlim/tree/develop/example/auto_compression 3.量化分析工具：https://github.com/PaddlePaddle/PaddleSlim/blob/develop/example/post_training_quantization/analysis.md 4.直播过程YOLOv7手把手教程：https://aistudio.baidu.com/aistudio/projectdetail/4443717 - 【问题一】add和concat量化不？需要保证不同分支量化参数统一不？ add和concat不做量化，默认对conv和fc做量化。模型如果有多个分支，需要统一量化参数。 - 【问题二】如何理解大量值为0是不利于scale统计；只是大量接近0，大量接近0+较多离群点=量化不友好 0附近的数据太多，这个范围内的数值映射范围是固定的，所以数值越多，精度损失越大。量化分析工作还在探索中，会持续总结更多影响量化的因素。 - 【问题三】Paddle TensorRT paddle trt子图接了trt，可以直接读Paddle模型。 - 【问提四】量化后的模型，在电脑上跑速度提升了，在手机上速度反而慢了，怎么回事呀 具体需要看使用的预测库对量化的支持情况，因为量化是部分层量化（conv、fc），量化后多出了数据类型转换操作，导致预测速度不降反升。 更多问题，欢迎issue交流。
### 问题描述 🔥 全场景部署套件 FastDeploy： 1. 目前支持了150+热门CV、NLP、Speech模型的部署，其中UIE模型支持tensorRT、OpenVINO、ONNX Runtime、Paddle Inference。NLP的端侧能力正在打磨中。 2. 支持TensorRT、OpenVINO、ONNX Runtime、RKNN、Paddle Inference、Paddle lite等。 3. 支持CPU、GPU、Jetson、ARM CPU、瑞芯微NPU、晶晨NPU、恩智浦NPU、飞腾CPU、IPU等九大类硬件，更多硬件能力完善中。 4. 1行代码切换不同后端和硬件。 5. GitHub地址：https://github.com/PaddlePaddle/FastDeploy 🔥 三日直播课： 【直播分享】2022.11.09 20:30～21:30，《覆盖云边端全场景，150+热门模型快速部署》。微信扫码报名 【直播分享】2022.11.10 20:30～21:30，《瑞芯微、晶晨、恩智浦等10+AI硬件部署，直达产业落地》。微信扫码报名 【直播分享】2022.11.10 19:00～20:00，《10+热门模型在RK3588、RK3568部署实战》。微信扫码报名 🔥...
🔥 全场景部署套件 FastDeploy： 1. 目前支持了150+热门CV、NLP、Speech模型的部署。其中OCR模型已经CPU、GPU、Jetson、ARM CPU、飞腾CPU等硬件。 2. 支持TensorRT、OpenVINO、ONNX Runtime、RKNN、Paddle Inference、Paddle lite等。 3. 支持CPU、GPU、Jetson、ARM CPU、瑞芯微NPU、晶晨NPU、恩智浦NPU、飞腾CPU、IPU等九大类硬件，更多硬件能力完善中。 4. 3行代码搞定AI模型部署，一行代码切换不同后端和硬件。 GitHub地址：https://github.com/PaddlePaddle/FastDeploy 🔥 三日直播课： 【直播分享】2022.11.09 20:30～21:30，《覆盖云边端全场景，150+热门模型快速部署》。微信扫码报名 【直播分享】2022.11.10 20:30～21:30，《瑞芯微、晶晨、恩智浦等10+AI硬件部署，直达产业落地》。微信扫码报名 【直播分享】2022.11.10 19:00～20:00，《10+热门模型在RK3588、RK3568部署实战》。微信扫码报名 🔥 OCR部署能力展示。（更多模型，欢迎移步[FastDeply仓库](https://github.com/PaddlePaddle/FastDeploy)）
- 🔥 **2022.11.09 20:30～21:30，《覆盖云边端全场景，150+热门模型快速部署》。微信扫码报名** - 🔥 **2022.11.10 20:30～21:30，《瑞芯微、晶晨、恩智浦等10+AI硬件部署，直达产业落地》。微信扫码报名** - 🔥 **2022.11.10 19:00～20:00，《10+热门模型在RK3588、RK3568部署实战》。微信扫码报名**