franklioxygen/v2s

何を解決するか

v2s は、会議、通話、ストリーミング、動画の際に、macOS ユーザーにリアルタイムで二か国語の字幕を提供します。ブラウザのタブ間を切り替えたり、フルスクリーンの字幕アプリを使用したりする必要がなく、画面にクリーンな二行の字幕バーをオーバーレイすることで、一つの言語で話している内容を聞きながら、もう一つの言語でその翻訳を同時に読むことができます。

動作方法

アプリはユーザーのマイクまたは特定の macOS アプリケーションからの音声をキャプチャします。音声認識には Apple の Speech フレームワーク（オンデバイス認識を優先）を使用し、翻訳には Apple Translation を使用します。要約機能は Apple Intelligence またはオンデバイスでの抽出要約のフォールバックを使用します。音声活動検出は、Apple の Core ML フレームワークを介して実行される Silero VAD モデルによって処理されます。

対象ユーザー

ライブ音声ソース（ビデオ通話やストリーミングなど）のリアルタイム翻訳と音声認識が必要な、作業中のワークスペースを離れずに済む macOS ユーザー。

特徴

• 二か国語オーバーレイ: 1行目に翻訳テキスト、2行目に元のテキストを表示。
• 柔軟な音声入力: 特定のアプリケーションまたはマイクからの音声をキャプチャ可能。
• プライバシー重視: クラウドバックエンドなし、テレメトリなし、オンデバイス処理を強く推奨。
• メニューバー統合: クイックアクセスが可能な軽量なメニューバー アプリとして動作。
• 自動言語サポート: OS とモデルの更新に基づいて、動的に対応言語を検出。