jamiepine/voicebox

解決する課題

Voiceboxは、音声入力（音声認識）と音声出力（テキスト読み上げ）の両方に統一されたインターフェースを提供する、ローカルファーストのAI音声スタジオです。ElevenLabsやWisprFlowのようなクラウドサービスに頼ることなく、ユーザー自身のマシン上で音声をクローンし、表現力豊かな音声を生成し、あらゆるアプリケーションにテキストをディクテーションできるため、完全なプライバシーが保証されます。

仕組み

このアプリケーションは、さまざまなタスクのために一連のローカルAIモデルを実行します：

• TTSエンジン: 7種類のテキスト読み上げエンジン（Qwen3-TTS、Kokoro、HumeAI TADAなど）をバンドルしており、多言語クローンと表現力豊かな音声に対応しています。
• STTエンジン: OpenAI Whisperを使用して、ディクテーションや録音を高精度で文字起こしします。
• ローカルLLM: バンドルされたQwen3 LLMを使用して、ディクテーションの修正（吃音の除去）や、特定のキャラクターのスタイルに合わせてテキストを書き換える「ボイスパーソナリティ」機能を実現します。
• 統合: REST APIおよびModel Context Protocol (MCP) サーバーを提供し、AIエージェント（Claude CodeやCursorなど）がクローンされた音声を使用して話すことを可能にします。
• パフォーマンス: Tauri (Rust) とFastAPI (Python) で構築されており、macOS (MLX/Metal)、Windows (CUDA/DirectML)、Linux (ROCm/CUDA) でのハードウェアアクセラレーションをサポートしています。

対象ユーザー

• コンテンツクリエイター: マルチトラックタイムラインエディターを使用して、ポッドキャスト、ナレーション、ゲームの対話を作成する方。
• AIエージェント開発者: MCPを通じて、エージェントにローカルでクローンされた音声を与えたい開発者。
• アクセシビリティユーザー: 音声支援が必要な方や、クローンされた自分の声でコミュニケーションを取りたい方。
• 一般ユーザー: クラウドベースのTTS/STTサービスのプライベートなローカル代替手段を求めている方。

ハイライト

• ゼロショット音声クローン: 数秒の音声からあらゆる音声をクローン可能。
• グローバルディクテーション: システム全体のホットキーにより、フォーカスされたテキストフィールドに文字起こしされたテキストを直接貼り付け可能 (macOS)。
• 表現力豊かな音声: Chatterbox Turboを通じて [laugh] や [sigh] などのパラ言語タグをサポート。
• エージェント音声出力: MCP対応エージェントとの統合により、特定のクローン音声で話すことが可能。
• マルチトラックストーリーエディター: 複雑な会話やナレーションを構成するためのタイムライン。
• ポストプロセッシング: ピッチシフト、リバーブ、コンプレッションなどのオーディオエフェクトを内蔵。