death34018-hue/AionsHome

解決的問題

AionsHome 是一個全面的本地主機 AI 伴侶系統，整合多模態互動（文字、語音、視覺）與家庭自動化及個人監控。它解決了 AI 工具碎片化問題，將聊天介面、智慧攝影機監控、裝置活動追蹤與個人記憶管理整合為單一、同步的生態系，可透過 PC 與行動瀏覽器（PWA）存取。

如何運作

此系統使用 Python FastAPI 後端與 SQLite 資料庫進行本地資料儲存。它連接到多個 AI 提供商（SiliconFlow、Google Gemini、AiPro）以取得 LLM 能力。

關鍵架構元件包括：

• 雙腦監控：一個「哨兵」（輕量級模型）定期分析攝影機畫面與裝置日誌，以決定「核心」（主 LLM）是否應主動聯絡使用者。
• RAG 記憶：使用 Gemini 嵌入的向量式記憶系統，自動總結對話並根據混合評分系統（向量相似性、關鍵字與重要性）檢索相關上下文。
• 串流 TTS：伺服器端管道將 AI 回應拆分成句子，並使用 CosyVoice2 並行合成，透過 WebSockets/SSE 推送音訊區塊，實現近乎即時播放。
• 多模態橋接：Android 應用提供原生橋接功能，用於錄音與擷取攝影機畫面（含 ESP32-CAM 支援），以避開瀏覽器限制。

適用對象

希望擁有高度個人化、注重隱私的 AI 助手，且運行於自身硬體上，能透過整合的攝影機與麥克風「看見」與「聽見」環境的使用者。

主要亮點

• 主動式 AI：AI 可根據攝影機事件或裝置活動，使用 [CAM_CHECK] 與 [查看动态] 命令主動發起對話。
• 混合記憶：結合自動周期性摘要與「即時哨兵」，決定何時搜尋向量資料庫以取得深度上下文。
• 多平台同步：透過 WebSockets 實現 PC 與行動裝置的即時同步，支援 PWA 以獲得原生應用體驗。
• 整合工具：內建 EPUB 閱讀 AI 標註模組、透過 akshare 實現的資金監控，以及 TRPG 遊戲引擎。
• 語音互動：支援 WebRTC VAD 實現穩定語音啟動，以及半雙工對話模式。