LYiHub/pub-local-jarvis

何を解決するか

AI Jarvis は Windows 向けのローカルでマルチモーダルなデスクトップアシスタントであり、クラウドへのデータアップロードを必要とせずにリアルタイムのコンパニオン機能と実用性を提供します。AIアシスタントがユーザーの実際の活動から切り離されている問題を解決するために、画面とシステム音声を継続的に認識し、文脈に応じたサポート、ゲームのヒント、教育用ノートを提供します。

動作方法

このシステムは MiniCPM-o 4.5 GGUF モデルを使用しており、大規模言語モデル（LLM）、視覚モデル（VPM）、音声モデル（APM）を統合しています。画面フレームは DXGI を、システム音声は WASAPI を使って約1秒ごとにキャプチャします。単純なQ&A形式ではなく、フルデュプレックスモードで動作し、現在のシーンに基づいて「聞き続ける（LISTEN）」か「短い文脈対応の応答を返す（SPEAK）」かをモデルが判断します。

対象ユーザー

• 透明なオーバーレイを通じてリアルタイムで邪魔にならないヒントやインタラクションを求める ゲームプレイヤー。
• オンライン授業から自動的に授業記録、キーフレームのキャプチャ、Markdown形式の知識要約が必要な 学生。
• デスクトップ活動を「見たり」「聞いたり」できるプライバシー重視のAIコンパニオンを求める 一般のWindowsユーザー。

特徴

• ローカルマルチモーダル推論：画面と音声をデバイス上で処理することで、高速性とプライバシーを確保。
• アクティブな対話：現在の画面状態について質問できるチャットウィンドウを Ctrl+M で起動可能。
• 授業記録：オンライン授業からキーフレーム画像と知識ポイントを含むMarkdownノートを自動生成。
• ゲームコンパニオン：透明なバブルチャットオーバーレイを通じてシーンに応じたヒントとインタラクションを提供。
• ローカルメモリ：生の画面や音声データを長期保存せずに、活動タイムラインと日々の要約を整理。
• プライバシーモード：デスクトップペットをダブルクリックすることで、画面と音声の認識を一時停止可能。