ShayneP/local-voice-ai

何を解決するか

Local Voice Agent は、自宅のハードウェア上で完全に動作するプライベートで低レイテンシの音声アシスタントです。クラウドベースの音声サービスの必要を排除し、音声認識、言語モデル、音声生成を1つの監視アプリケーションに統合しています。

動作方法

このプロジェクトは、ローカルAIモデルのモジュール式スタックを使用して音声インタラクションループを処理します：

• 音声認識 (STT): ユーザーが話している間に部分的なトランスクリプトを送信することで低レイテンシを確保するため、Nemotron Q8 をストリーミング認識に使用（Whisper は手動フォールバックとして使用）。
• 言語モデル (LLM): llama.cpp で動作し、選択されたハードウェアプロファイルに応じて Qwen3 や Gemma 4 などのローカルLLMを実行します。
• 音声生成 (TTS): ローカル音声合成に Kokoro（または Kokoro ONNX）を使用。
• オーケストレーション: LiveKit Agents でリアルタイム通信とストリーミングを管理。

対象ユーザー

オフラインまたはローカルネットワーク上で動作するプライベート音声アシスタントを希望するユーザー。特に NVIDIA GPU、Apple Silicon、または NVIDIA Jetson Orin Nano デバイスをお持ちの方に適しています。

特徴

• ハードウェア対応プロファイル: 検出されたメモリ容量とデバイスタイプに基づき、自動的にモデルスタック（軽量、コンパクト、バランス）を選択。
• 低レイテンシ: Nemotron を介したストリーミング音声認識により、従来の「発話完了を待つ」システムよりも迅速な応答が可能。
• クロスプラットフォーム対応: Linux CPU、NVIDIA デスクトップ、Apple Silicon、Jetson Orin 用のネイティブセットアップをサポート。
• リモートクライアントモード: 高性能デバイス（例：Jetson）上で音声サーバーを実行し、ユーザーインターフェースはノートパソコンのブラウザで動作可能。
• 柔軟な設定: 環境変数を介してローカルサービスを外部API（例：LiveKit Cloud）に置き換え可能。