ggml-org/whisper.cpp

Port of OpenAI's Whisper model in C/C++

What it solves

whisper.cpp 은 OpenAI Whisper 자동 음성 인식(ASR) 모델의 고성능, 경량 구현을 제공합니다. 사용자는 음성-텍스트 전사를 완전히 오프라인 및 디바이스에서 실행할 수 있어 무거운 종속성이나 클라우드 API가 필요하지 않습니다.

How it works

이 프로젝트는 순수 C/C++ 로 작성되었으며, 추론을 위해 ggml 머신러닝 라이브러리를 활용합니다. Apple Silicon(Metal 및 Core ML), NVIDIA GPU(CUDA), AMD GPU(ROCm), Vulkan, OpenVINO, 그리고 다양한 CPU Intrinsics(AVX, NEON, VSX) 등 광범위한 하드웨어 가속을 지원해 속도를 극대화합니다.

Who it’s for

iOS, Android, Windows, Linux, macOS, WebAssembly 등 다양한 플랫폼에서 외부 서버에 의존하지 않고 고품질 음성 인식을 애플리케이션에 통합하고자 하는 개발자와 사용자에게 적합합니다.

Highlights

  • Zero runtime memory allocations: Optimized for efficiency and speed.
  • Broad hardware support: Native acceleration for almost all major GPU and NPU architectures.
  • Integer quantization: Reduces memory and disk footprint for smaller devices.
  • Cross-platform: Runs on everything from high-end GPUs to Raspberry Pi and mobile phones.
  • Real-time capabilities: Includes examples for continuous microphone input transcription.