death34018-hue/AionsHome

何を解決するか

AionsHome は、家庭自動化と個人モニタリングと統合された、包括的でローカルホスト型のAIアシスタントシステムです。テキスト、音声、視覚のマルチモーダルインタラクションを提供し、AIツールの断片化という問題を解決します。チャットインターフェース、スマートカメラ監視、デバイス活動の追跡、個人メモリ管理を1つの同期されたエコシステムに統合し、PCおよびモバイルブラウザ（PWA）からアクセス可能です。

動作方法

このシステムは、ローカルデータストレージ用にSQLiteデータベースを備えたPython FastAPIバックエンドを使用しています。さまざまなAIプロバイダ（SiliconFlow、Google Gemini、AiPro）に接続してLLM機能を提供します。

主なアーキテクチャコンポーネントは以下の通りです：

• デュアルブレイン監視：「センチネル」（軽量モデル）が定期的にカメラフレームとデバイスログを分析し、『コア』（メインLLM）がユーザーに積極的に連絡する必要があるかどうかを判断します。
• RAGメモリ：Geminiの埋め込みを使用したベクトルベースのメモリシステムで、会話の自動要約と、ハイブリッドスコアリングシステム（ベクトル類似性、キーワード、重要度）に基づく関連コンテキストの取得を実現します。
• ストリーミングTTS：サーバーサイドのパイプラインがAIの応答を文に分割し、CosyVoice2を使用して並列合成し、WebSockets/SSE経由で音声チャンクを送信してほぼ即時再生を実現します。
• マルチモーダルブリッジ：Androidアプリが、音声録音とカメラフレームのキャプチャ（ESP32-CAMサポート含む）のネイティブブリッジを提供し、ブラウザの制限を回避します。

対象ユーザー

自宅のハードウェア上に存在し、統合されたカメラとマイクを通じて環境を「見たり」「聞いたり」できる、非常にパーソナライズされ、プライバシーを重視したAIアシスタントを求めるユーザーです。

特徴

• プロアクティブAI：[CAM_CHECK] および [查看动态] コマンドを使用して、カメライベントやデバイス活動に基づいてAIが会話を開始できます。
• ハイブリッドメモリ：定期的な自動要約と、「インスタントセンチネル」によるベクトルデータベース検索のタイミング判断を組み合わせます。
• マルチプラットフォーム同期：WebSocketsを介したPCとモバイル間のリアルタイム同期に加え、PWAサポートによりネイティブアプリ体験を提供します。
• 統合ツール：EPUB読書用のAI注釈モジュール、akshareを介した資金監視、TRPGゲームエンジンを内蔵しています。
• 音声インタラクション：WebRTC VADによる安定した音声起動と、ハーフデュプレックス会話モードを備えています。