onnx模型的推理速度更慢是为什么呢？

[oak-JHCheng]

在cpu上尝试进行onnx模型的导出和推理测试，在示例音频example/en.wav上进行推理测试 torch：

onnx-cpu： 这里是我的硬件信息：

[majic31]

可以尝试下官方的onnx，性能应该没那么低的。有可能是你导出的onnx没有做量化？

[oak-JHCheng]

可以尝试下官方的onnx，性能应该没那么低的。有可能是你导出的onnx没有做量化？

我是按照funasr给的onnx模型导出和推理方式进行的测试，cpu上和gpu上都有很大程度的性能下降（在实现过程中没有看到有报错），看其他issue有作者回复说是在gpu上优化的不好。 我有找到其他人开源的onnx模型，在cpu上的加速效果还可以，所以还是模型导出部分有问题吧？

[majic31]

asr_example_cn_en.wav大概14s，我跑了也需要3.5s左右（x86），加速比大概是4的样子。 cpu的优势在于多并发，而不在于单个音频的加速比。