death34018-hue/AionsHome

解决的问题

AionsHome 是一个全面的本地托管 AI 伴侣系统，整合了多模态交互（文本、语音、视觉）与家庭自动化和个人监控。它解决了 AI 工具碎片化的问题，将聊天界面、智能摄像头监控、设备活动追踪和个人记忆管理整合为一个统一、同步的生态系统，可通过 PC 和移动浏览器（PWA）访问。

工作原理

该系统使用 Python FastAPI 后端和 SQLite 数据库进行本地数据存储。它连接到多个 AI 提供商（SiliconFlow、Google Gemini、AiPro）以获取 LLM 能力。

关键架构组件包括：

• 双脑监控：一个“哨兵”（轻量级模型）定期分析摄像头帧和设备日志，以决定“核心”（主 LLM）是否应主动联系用户。
• RAG 记忆：使用 Gemini 嵌入的基于向量的记忆系统，自动总结对话并基于混合评分系统（向量相似性、关键词和重要性）检索相关上下文。
• 流式 TTS：服务器端管道将 AI 响应拆分为句子，并使用 CosyVoice2 并行合成，通过 WebSockets/SSE 推送音频块，实现近乎即时播放。
• 多模态桥接：Android 应用提供原生桥接功能，用于录音和捕获摄像头帧（包括 ESP32-CAM 支持），以绕过浏览器限制。

适用人群

希望拥有高度个性化、注重隐私的 AI 助手，且运行在自己硬件上的用户，能够通过集成的摄像头和麦克风“看见”和“听见”周围环境。

主要亮点

• 主动式 AI：AI 可基于摄像头事件或设备活动，使用 [CAM_CHECK] 和 [查看动态] 命令主动发起对话。
• 混合记忆：结合自动周期性摘要与“即时哨兵”，决定何时搜索向量数据库以获取深层上下文。
• 多平台同步：通过 WebSockets 实现 PC 与移动设备的实时同步，支持 PWA 以获得原生应用体验。
• 集成工具：内置 EPUB 阅读 AI 注释模块、通过 akshare 实现的资金监控，以及 TRPG 游戏引擎。
• 语音交互：支持 WebRTC VAD 实现稳定语音激活，以及半双工对话模式。