pengzhendong/streaming-sensevoice

Pseudo Streaming SenseVoice with Hotwords

解決する課題

SenseVoiceモデルを使用して推論をチャンク単位で処理することで、リアルタイムのストリーミング音声文字起こしを実現します。これにより、音声ファイル全体が処理されるのを待たずにテキスト出力を受け取ることが可能になります。

仕組み

このプロジェクトは、SenseVoiceモデルをラップするストリーミング実装を提供します。音声処理には3つの方法があります:録音済みのwavファイルの処理、マイクからの直接入力、そして(FastAPIで構築された)WebSocketサービスを利用してブラウザからサーバーへMP3形式の音声チャンクを送信し、低遅延で文字起こしを行う方法です。

対象ユーザー

SenseVoiceモデルを使用して、リアルタイムの音声認識機能をアプリケーションに統合したい開発者。

ハイライト

  • マイク入力からのリアルタイム文字起こし。
  • ブラウザベースの音声ストリーミングのためのWebSocketサーバー。
  • wavファイルの文字起こしサポート。
  • Recorderライブラリとの統合による効率的な音声送信。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト