alesaccoia/VoiceStreamAI

Near-Realtime audio transcription using self-hosted Whisper and WebSocket in Python/JS

解決する課題

VoiceStreamAI は、Web ブラウザからサーバーへオーディオをストリーミングすることで、ニアリアルタイムのオーディオ文字起こしを実行する方法を提供します。音声活動検知 (VAD) を使用して実際の音声のみを文字起こしすることで、計算負荷とネットワーク帯域幅を削減し、連続的なオーディオストリームを効率的に処理するという課題に対処します。

仕組み

このシステムは、WebSockets を介して通信する Python ベースのサーバーと JavaScript クライアントで構成されています。クライアントはオーディオをキャプチャし、チャンクとしてサーバーに送信します。サーバーはモジュール式のパイプラインを使用してこのオーディオを処理します：

  1. 音声活動検知 (VAD): Silero や Pyannote などのモデルを使用して、サーバーは音声が含まれるオーディオセグメントを特定します。
  2. 文字起こし: システムは自動音声認識 (ASR) モデルを使用し、デフォルトでは faster-whisper（OpenAI の Whisper の高性能版）を使用して、検出された音声をテキストに変換します。
  3. バッファリング戦略: チャンクの境界で単語が途切れるのを防ぐため、システムは「SilenceAtEndOfChunk」戦略を採用しており、文字起こしを開始する前に音声の休止を待ちます。

対象者

異なる VAD および ASR モデルの入れ替えを可能にする、柔軟でモジュール式のアーキテクチャを備えたリアルタイム音声文字起こし機能が必要なアプリケーションを構築しようとしている開発者。

ハイライト

  • モジュール設計: Factory パターンと Strategy パターンを使用して、新しい VAD および ASR 技術を簡単に統合できます。
  • リアルタイムストリーミング: WebSockets を活用して、クライアントとサーバー間の低遅延通信を実現します。
  • 効率的な処理: VAD の統合により、音声以外のオーディオ処理を最小限に抑え、GPU/CPU リソースを節約します。
  • カスタマイズ可能: クライアントは JSON メッセージを介して、言語、チャンクの長さ、および処理戦略を動的に構成できます。

関連

  • プロジェクト
    dimastatz/whisper-flow

    OpenAI Whisper を使用したリアルタイム音声認識サービスで、バッチ処理ではなくストリーミングによる低遅延の音声認識を実現します。

  • プロジェクト
    collabora/WhisperLive

    WhisperLiveは、OpenAIのWhisperモデルを基盤としたオープンソースのニアリアルタイム音声認識サーバーです。複数の推論バックエンド（faster-whisper、NVIDIA TensorRT、Intel OpenVINO、AMD ROCm）をサポートし、単語レベルのタイムスタンプ、ホットワード強調、話者分離、オプションの翻訳機能を提供。シンプルなコマンドラインクライアントとPythonストリーミングAPIを備え、GPUおよびCPU用のDockerイメージを提供。ブラウザやiOS拡張機能により、ウェブページやモバイルデバイスから直接音声を認識できます。

  • プロジェクト
    huggingface/speech-to-speech

    Speech‑to‑Speech は Hugging Face のオープンソースパイプラインで、音声入力を音声出力に変換します。VAD → STT → LLM → TTS の順に接続され、各コンポーネントは交換可能（Silero VAD、Parakeet/Faster‑Whisper/Whisper STT、OpenAI互換LLMまたはローカルのTransformers/MLXモデル、Qwen3‑TTSまたはその他のTTSバックエンド）。全体はWebSocket/WebRTCでOpenAI Realtimeプロトコルを実装しており、既存のOpenAI Agents SDKコードがそのまま動作します。`pip install speech-to-speech` でインストール後、`speech-to-speech serve`（サーバー）と `speech-to-speech talk`（クライアント）または `speech-to-speech local`（両方を同時に）を実行。ローカル専用動作、ローカル/ホストの混合LLM、Dockerデプロイ、代替TTS/STTモデルのオプション拡張をサポート。音声アシスタントロボット（例：Reachy Mini）や低レイテンシ音声AIアプリケーションに最適です。

  • プロジェクト
    KoljaB/RealtimeSTT

    音声活動検出、ウェイクワード、高速トランスクリプションを統合した Python 音声認識ライブラリ。音声アシスタントや音声入力ツールへの簡単な統合を可能にします。

  • プロジェクト
    m-bain/whisperX

    OpenAIのWhisperにバッチ推論、単語レベルのタイムスタンプ、話者分離機能を追加し、強化した高速自動音声認識システム。