FatihMakes/Mark-LVI

Mark LVI – クロスプラットフォームのパーソナルAIアシスタント

概要 – Mark LVIは、聞く、話す、画面やウェブカメラを見る、OSを制御することができるデスクトップレベルのAIコンパニオンです。Windows、macOS、Linuxで動作し、GoogleのGemini Live API（デフォルト）や、標準の /v1/chat/completions エンドポイントを実装する任意のセルフホスト型またはサードパーティ製言語モデル（Ollama、LM Studio、llama.cpp、vLLM、OpenAI、Groq、DeepSeek、Mistral、xAI、OpenRouterなど）を利用可能です。

主な機能

• リアルタイム音声対話 – プッシュ・トゥ・トーク (Ctrl+Space)、ウェイクワード (“Hey Jarvis”)、Gemini LiveまたはローカルのWhisper + Piperパイプラインによる超低遅延ストリーミング。
• ホログラフィックアバター – 口パク、表情、状態表示を備えたアニメーションヘッド。ソフトウェアレンダリング（GPU不要）。
• 多言語対応 – Whisperが話された言語を検出し、Piper（またはElevenLabs）が同じ言語で応答。約50言語、176種類の音声をサポート。
• フルシステム制御 – アプリの起動/終了、音量/輝度調整、Wi-Fi、電源、クリップボードユーティリティ、ファイル処理、ウェブ検索、ブラウザ制御、メッセージング（WhatsApp、Telegram）、ハードウェア監視、天気、リマインダーなど。
• プラグイン＆スキルシステム – .py ファイルを plugins/ に配置するだけで、アシスタントが新しいツールを自動検出。各ツールは独自の TOOL 辞書を宣言します。
• メモリ＆取り消し – 事実の永続的かつ検索可能なメモリ、セッションごとの要約、ファイルや設定の変更を元に戻す「取り消し」機能。
• 安全機能 – 自己エコーガード、不可逆的な操作に対する確認ゲート、明確な done/unverified/failed ステータス報告、信頼できないコンテンツの境界、デバイスごとの音量管理。
• フォールバックエンジンラダー – 9つのGeminiモデルが順序付けされており、クォータ制限、タイムアウト、障害が発生した場合、会話を中断することなく自動的に次のモデルに切り替わります。
• ローカルファーストオプション – スタック全体をローカルで実行可能（STTにWhisper、TTSにPiper、任意のローカルLLM）。サブスクリプション費用は不要で、UIは有効にしたプロバイダーのみを読み込みます（無効時はオーバーヘッド0 ms）。

仕組み

1. エンジン選択 – UIを通じて、聞く、考える、話すためのプロバイダーを選択します。各パーツは「TEST」ボタンで接続性と遅延を確認できます。
2. 会話フロー – 音声が選択したモデルにストリーミングされ、モデルはツール（例：open_app、read_file）を呼び出せます。ツールの結果がモデルにフィードバックされ、モデルが応答します。
3. ツールバジェット – 最も関連性の高いツールのみがモデルに送信され（デフォルト20個、サイズ制限あり）、ペイロードを小さく保ち低遅延を実現します。
4. セッションの継続性 – デバイスの変更、切断、音声の切り替えがあっても会話は継続。コンテキストはスライドウィンドウアルゴリズムで圧縮され、セッション長は無制限です。

インストールと初回実行

• リポジトリをクローンし、提供されているインストーラースクリプトを実行します（または pip install -r requirements.txt）。
• 基本インストールでは google-genai と httpx のみが取得されます。オプションコンポーネント（Whisper、Piper、ElevenLabs）はUIから必要に応じてインストールされます。
• 初回起動時に、アシスタントは起動時に自動実行されるよう登録されます（レジストリ/LaunchAgent/.desktop）。
• リモート制御が必要な場合は、QRコードでスマホダッシュボードをペアリングします。

重要性 Mark LVIは、音声、視覚、OS自動化を橋渡しする、完全に自己完結型で拡張可能なAIエージェントです。ユーザーはすべてをローカルで実行するか、任意のクラウドLLMを使用するかを自由に選択できます。モジュール式のプロバイダーアーキテクチャ、安全第一のツール処理、リッチなUIにより、コードを書かずにカスタマイズ可能な「Jarvisスタイル」のパーソナルアシスタントの実際的な例となっています。

---

すべての詳細はプロジェクトのREADMEから直接引用したものであり、外部情報は追加されていません。