Whisper: OpenAI Whisper自动语音识别(ASR)模型的高性能推理OpenAI Whisper

Whisper: OpenAI Whisper自动语音识别(ASR)模型的高性能推理特点：

最高5倍提速，whisper 加入苹果引擎ANE支持！OpenAI 开源 ASR 模型加入了ANE支持，M1芯片可提速3倍，M2芯片可提速5倍。ggerganov 大神的 whisper.cpp 项目越来越强悍了，目前只支持 encoder，但是性能已经很强了。有了这样一个轻量级的模型实现，就可以轻松地将它集成到不同的平台和应用程序中。

特点

• 无依赖的纯C/ c++实现

• 苹果硅一流公民-优化通过ARM NEON，加速框架和核心ML

• AVX intrinsic支持x86架构

• VSX intrinsic支持POWER体系结构

• 混合F16 / F32精度

• 内存使用率低(Flash注意)

• 运行时内存分配为零

• 运行在CPU上

• c风格的API

  
  支持平台

• Mac OS (Intel and Arm)

• iOS

• Android

• Linux / FreeBSD

• WebAssembly

• Windows (MSVC and MinGW]

• Raspberry Pi

Whisper1

Whisper2

模型的整个实现包含在2个源文件中:

• 张量运算：ggml.c/ggml.h

• Transformer 推理：whisper.h/whsiper.cpp

实现细节

• 核心张量操作是用C语言实现的(ggml.h / ggml.c)

• Transformer 模型和高级C风格API是用c++实现的(whisper.h / whisper.cpp)

• 在main.cpp中演示了样例的使用

• 在stream.cpp中演示了来自麦克风的实时音频转录样本

• example文件夹中还有其他各种示例

地址

GitHub: https://github.com/ggerganov/whisper.cpp