Haitao

whisper model's default task should be "transcribe"

1

### System Info - `transformers` version: 4.27.2 - Platform: Linux-3.10.0-1062.9.1.el7.x86_64-x86_64-with-glibc2.17 - Python version: 3.9.16 - Huggingface_hub version: 0.13.2 - PyTorch version (GPU?): 1.12.1 (True) - Tensorflow version (GPU?): not installed...

2pass 模式，如何使用GPU加快offline结果的输出？

2

Notice: In order to resolve issues more efficiently, please raise issue following the template. （注意：为了更加高效率解决您遇到的问题，请按照模板提问，补充细节） ## ❓ Questions and Help 使用2pass模式时，虽然online速度快，但是识别效果相对于offline较差，因为使用offline的结果，但是offline的结果耗时较长，尝试使用这个API “OrtSessionOptionsAppendExecutionProvider_CUDA” 来使用CUDA，计算的确是在GPU上进行的，但是速度并没有什么太大变化。测试音频时一个不间断说话，长约10.84秒的音频，耗时需要1.5s以上。 请问有什么方法能加速offline模型的onnx的推理？ 也尝试过离线的镜像，因为离线镜像是所有结果一起返回，不符合使用场景。据我的认知，离线镜像若使用GPU，则使用的libtorch；如果不使用GPU，则用的是onnxruntime，两者的确在速度上有明显的差别，将batch_size设置为1，libtorch解码之前提到的音频，比onnx要快约800ms ### Before asking: 1. search...