Sharrnah/whispering-ui

解決する課題

Whispering Tiger UI は、ローカルでAI駆動の音声認識、翻訳、音声合成を実行するための使いやすいデスクトップインターフェースを提供します。コマンドラインツールの必要性を排除し、マイクやデスクトップ音声のストリーム、画像（OCR）をローカルかつオフラインで処理できるようにします。また、OSC経由でVRChatやWebSocket経由でブラウザオーバーレイといった外部出力との統合も可能です。

動作方法

本プロジェクトは、Go/Fyneで作られたネイティブUIとPythonバックエンドを接続しています。CPU、NVIDIA CUDA、AMDおよびIntelハードウェア向けのVulkan（audio.cpp経由）など、さまざまな計算デバイスをサポートしています。ユーザーはプロファイルを作成して、音声入出力デバイスの設定、AIモデルとその精度の選択、拡張機能用のプラグイン管理が可能です。

対象ユーザー

自身の声やシステム音声のリアルタイム翻訳・音声認識が必要なWindowsおよびLinuxユーザー、またVRChatのような仮想環境にAI音声ツールを統合したいユーザー。

特徴

• ローカル処理: 初回ダウンロード後、AIモデルはローカルでオフラインで実行されます。
• マルチハードウェア対応: NVIDIA CUDA、AMD、Intel、Vulkanに対応しています。
• 多様な音声キャプチャ: WindowsではWASAPIループバック、LinuxではPulseAudio/PipeWireをサポートし、デスクトップ音声のキャプチャが可能。
• 拡張性: 感情予測、RVC（リトリーブベース音声変換）、LLM統合などの機能をプラグインシステムで追加可能。
• 統合OCR: ゲーム内画像からテキストを認識・翻訳する機能を備えています。