Apple SpeechAnalyzer API 벤치마크: 성능 vs Whisper 및 SFSpeechRecognizer

Apple SpeechAnalyzer API 벤치마크: 성능 vs Whisper 및 SFSpeechRecognizer

Apple SpeechAnalyzer가 온‑디바이스 정확도에서 Whisper Small을 능가

Apple의 새로운 SpeechAnalyzer API는 iOS 26 및 macOS 26에 도입되었으며, 테스트된 모델 중 영어 전사에 가장 정확한 온‑디바이스 음성 엔진입니다. LibriSpeech 코퍼스를 사용한 벤치마크에서 SpeechAnalyzer는 깨끗한 음성에서 2.12%, 잡음이 섞인 음성에서 4.56%의 단어 오류율(WER)을 기록했으며, 각각 3.74%와 7.95%를 기록한 Whisper Small을 앞섰습니다.

정확도뿐만 아니라 SpeechAnalyzer는 초당 오디오당 Whisper Small보다 약 3배 빠릅니다. Apple M2 Pro(32GB, macOS 26.5.1)에서 테스트된 모든 엔진은 실시간보다 빠르게 동작했으며, 전사 속도는 12배에서 40배 사이였습니다.

비교 단어 오류율(WER) 결과

Engine test-clean WER test-other WER Model size
Apple SpeechAnalyzer (iOS/macOS 26) 2.12% 4.56% system
Whisper Small (WhisperKit CoreML) 3.74% 7.95% ~460MB
Whisper Base 5.42% 12.51% ~140MB
Whisper Tiny 7.88% 17.04% ~40MB
Apple SFSpeechRecognizer (legacy) 9.02% 16.25% system

Note: Lower WER indicates higher accuracy.

SFSpeechRecognizer에서 SpeechAnalyzer로의 마이그레이션

개발자는 레거시 SFSpeechRecognizer에서 새로운 SpeechAnalyzer API로 즉시 마이그레이션해야 합니다. 전환을 통해 동일한 오디오에서 단어 오류율이 3.5~4배 감소하는 큰 정확도 향상을 얻을 수 있습니다. 구체적으로, 깨끗한 음성의 WER는 9.02%에서 2.12%로, 잡음이 섞인 음성은 16.25%에서 4.56%로 감소했습니다.

원시 정확도 외에도 SpeechAnalyzer는 적절한 구두점과 대소문자를 포함한 고품질 출력을 제공하는 반면, 레거시 엔진의 출력은 다소 거칩니다.

SpeechAnalyzer vs Whisper: 트레이드오프 및 사용 사례

SpeechAnalyzer가 현재 Apple 하드웨어에서 영어 전사에 가장 우수한 선택이지만, Whisper는 두 가지 주요 장점을 유지합니다:

  1. 언어 지원: Whisper는 방대한 언어를 지원하는 반면, SpeechTranscriber는 약 30개의 로케일만 지원합니다.
  2. 플랫폼 독립성: Whisper는 모든 플랫폼에서 실행될 수 있지만, SpeechAnalyzer는 OS 26이 실행되는 Apple 플랫폼에만 제한됩니다.

온‑디바이스 AI를 제공하는 개발자는 시스템에 내장된 SpeechAnalyzer를 사용함으로써 모델이 OS에 통합되어 있어 애플리케이션 번들 크기를 줄일 수 있습니다.

벤치마크 방법론 및 검증

결과의 재현성과 편향 방지를 위해 벤치마크에서는 여러 엄격한 제어를 적용했습니다:

  • LibriSpeech Corpus: LibriSpeech를 사용함으로써 OpenAI가 발표한 Whisper 수치와 직접 비교할 수 있습니다. Whisper Tiny, Base, Small에 대한 벤치마크 결과는 OpenAI 발표 데이터와 거의 일치하며, CoreML 양자화와 더 엄격한 텍스트 정규화로 인한 약간의 양의 오차가 있습니다.
  • Production Code Paths: 엔진은 실험용 하드웨어가 아닌 Inscribe 앱에서 사용되는 동일한 프로덕션 코드를 통해 실행되었습니다.
  • Text Normalization: 모든 출력은 대소문자, 구두점, 숫자를 단어로 변환하는 정규화를 거쳐 형식 차이로 인한 페널티를 방지했습니다.
  • On-Device Verification: 하드웨어가 클라우드 서버로 조용히 전환되는 것을 방지하기 위해 온‑디바이스 인식을 강제하여 로컬 연산의 공정한 비교를 보장했습니다.

커뮤니티 인사이트 및 반론

커뮤니티 토론에서는 SpeechAnalyzer가 아직 부족한 부분이나 대체 모델이 존재하는 영역을 여러 가지 지적했습니다:

  • 모델 비교: 일부 사용자는 오래된 Whisper 모델(Tiny, Base, Small)과의 비교가 충분하지 않다며 Whisper Large‑V3 Turbo 또는 Nvidia의 Parakeet, Mistral의 Voxtral과 같은 최신 최첨단 모델과의 비교를 제안했습니다.
  • 언어 자동 감지: 사용자는 Apple이 사용자가 직접 언어를 선택하도록 요구하는 점에 불만을 표시했으며, 잘못된 로케일을 선택하면 의미 없는 출력이 발생할 수 있다고 지적했습니다.
  • 실제 환경 성능: 일부 개발자는 SpeechAnalyzer가 음악이나 다중 화자와 같은 다양한 오디오를 잘 처리하지만 고유명사에 약점이 있어 발음이 비슷한 단어로 대체되는 경우가 있다고 보고했습니다.
  • 타임스탬프: SpeechAnalyzer가 영어에 대해 단어 수준 타임스탬프를 제공하지만, 다중 언어 타임스탬프가 필요한 경우 ElevenLabs의 Scribe v2와 같은 다중 플랫폼 도구가 여전히 선호된다고 언급했습니다.

"Apple의 새로운 엔진은 Whisper Small을 능가했으며, 초당 오디오당 Whisper Small의 약 1/3 수준의 연산 시간으로 동작합니다. 영어에 대해 Apple 하드웨어에서 내장 엔진은 이제 우리가 측정할 수 있는 가장 강력한 온‑디바이스 옵션이 되었습니다."

연구의 한계

  • 범위: 이 벤치마크는 영어 읽기 음성(LibriSpeech)에만 국한되며, 억양이 섞인 음성, 원거리 오디오, 다중 화자 회의 환경은 포함하지 않습니다.
  • 하드웨어: 테스트는 단일 머신(M2 Pro, macOS 26.5.1)에서 수행되었습니다. 정확도는 Apple Silicon 전반에 걸쳐 일반적으로 일관되지만, 처리 속도는 칩에 따라 달라집니다.

SUMMARY: Apple의 SpeechAnalyzer API가 iOS/macOS 26에서 Whisper Small 및 레거시 SFSpeechRecognizer보다 정확도와 속도 모두에서 온‑디바이스 영어 전사에 있어 우수합니다.

TITLE: Apple SpeechAnalyzer API 벤치마크: 성능 vs Whisper 및 SFSpeechRecognizer

Sources