isair/jarvis

何を解決するか

Jarvis は、ユーザーのコンピュータ上ですべての AI タスクをローカルで処理する、100% プライベートでオフラインの AI 音声アシスタントです。クラウドベースのサブスクリプションやデータ収集の必要を排除し、会議室に「第三者」がいるように振る舞います。従来の rigid なコマンドベースの音声アシスタントの問題を解決し、会話の文脈を理解できる会話認識機能を提供することで、各ターンごとにウェイクワードを必要としなくなります。

動作方法

Jarvis は複数のローカル AI コンポーネントを統合して、スムーズな音声インターフェースを実現しています：

• 音声認識： Whisper（Windows では CUDA 加速をオプションで利用可能）を使用して音声をテキストに変換します。
• LLM オーケストレーション： Ollama や OpenAI 互換サーバー（LM Studio、Jan など）などのローカル LLM プロバイダーと連携し、チャットや意図分類を実行します。
• LLM 意図判断モデル： gemma4:e2b などの小型で高速なモデルを用いて、リアルタイムのエコー検出やクエリ抽出などのタスクを処理します。
• メモリと知識： 自己組織化された知識グラフと埋め込みベースの意味検索を活用し、会話間で無制限のメモリを維持します。
• ツール統合： Model Context Protocol (MCP) を使用して外部ツール（GitHub、Slack、Home Assistant など）に接続し、埋め込みベースのルーターで関連するツールを選択することで、システムのパフォーマンスを低下させずに統合を実現します。
• テキストから音声： デフォルトで Piper TTS を使用し、高速かつローカルな音声合成を実現します。

対象ユーザー

• クラウドにデータを送信せずに強力な AI アシスタントを使いたい、プライバシーに配慮するユーザー。
• MCP を通じてローカルファイル、スマートホーム、その他の開発者ツールと AI アシスタントを統合したいパワーユーザー。
• 高品質なオフライン音声入力ツールを探しているユーザー。WisprFlow などの有料サービスの無料代替として。

特徴

• 会話認識： ローリングする一時的なコンテキストウィンドウから文脈を理解し、会話に自然に参加できます。
• 無制限のローカルメモリ： 知識グラフとメモリビューア GUI を備え、AI が何を記憶しているかを追跡できます。
• プライベート音声入力モード： グローバルホットキーにより、任意のアプリケーションにオフラインで音声認識結果を貼り付けられます。
• MCP による拡張性： パフォーマンスの低下を伴わずに、Model Context Protocol を通じて無制限のツールをサポートします。
• 自動マスキング： データをディスクに保存する前に、機密情報を自動的にマスキングします。
• 適応的トーン： トピックに応じてトーンを自動調整（例：コードの場合は厳密なトーン、ウェルビーイングの場合は励ましのトーン）