sosoj92/jarvis-assistant-vocal

解決する課題

Jarvis は、ホームオートメーション、PC 制御、個人の生産性向上のための中央ハブとして機能するように設計されたローカル音声アシスタントです。ハードウェア（照明、OBS、PC ステータス）、Web サービス（Gmail、Google Calendar、Instagram）、複雑なワークフロー（Web 予約、コンテンツ作成パイプライン）に対する音声起動制御を単一の自然言語インターフェースに統合することで、断片化された複数のアプリの必要性を排除します。

仕組み

Jarvis はモジュラーパイプラインを使用します。ローカルウェイクワード検出器（openWakeWord）がローカル文字起こしエンジン（faster-whisper）をトリガーし、設定可能な LLM にリクエストを送信します。システムは 3 つの運用モードをサポートしています：Hybrid（日常タスクはクラウド、バックグラウンドはローカル）、Quality（高性能クラウドモデル）、Local（Ollama による 100% オフライン）。

セキュリティを損なうことなく複雑な推論を処理するために、Jarvis は深い調査と思考を Hermes（独立したローカル審議エージェント）に委任します。Jarvis は「身体」（アクションの実行と API キー）を保持し、Hermes は「脳」（分析と下書き）を提供します。システムは、ネットワークオーディオ衛星（例：Raspberry Pi）を介して拡張でき、長いケーブルなしでさまざまな部屋に音声アクセスを提供できます。

対象ユーザー

Windows 11 環境とスマートホームを制御できる、高度にカスタマイズ可能でプライバシーを重視した音声アシスタントを求めるユーザー、およびシンプルなデコレータベースのシステムで独自のツールを追加できる拡張可能なフレームワークを探している開発者。

ハイライト

• マルチモーダル制御：音声、画面ビジョン（エラー/テキストのキャプチャ）、Web カメラベースのハンドジェスチャを PC およびメディア制御に統合。
• 広範なツール：Philips Hue、OBS、Google Calendar、Gmail、Discord、Instagram、電話通信用の Twilio の組み込み統合。
• Web オートメーション：Playwright と Chrome CDP を使用して、アクティブなタブの要約、ブラウザタブの管理、実際の Web 予約を実行。
• 段階的セキュリティ：N1/N2/N3 権限レベルを実装し、重要なアクション（メール送信や PC シャットダウンなど）には明示的な音声確認が必要。
• 柔軟な展開：単一の PC またはヘッドレスサーバーで実行でき、オーディオとディスプレイ用のリモート「メインステーション」と組み合わせ可能。
• ローカルファーストオプション：Ollama と Piper や Kokoro などのローカル TTS エンジンを使用した完全オフライン操作をサポート。