death34018-hue/AionsHome

해결하는 문제

AionsHome는 가정 자동화와 개인 모니터링과 통합된 종합적인 로컬 호스팅 AI 보조 시스템입니다. 텍스트, 음성, 시각의 다중 모달 상호작용을 제공하며, AI 도구의 분산 문제를 해결합니다. 채팅 인터페이스, 스마트 카메라 감시, 장치 활동 추적, 개인 메모리 관리를 하나의 동기화된 생태계로 통합하여 PC 및 모바일 브라우저(PWA)를 통해 접근 가능합니다.

작동 방식

이 시스템은 로컬 데이터 저장을 위한 SQLite 데이터베이스를 갖춘 Python FastAPI 백엔드를 사용합니다. 다양한 AI 제공업체(SiliconFlow, Google Gemini, AiPro)에 연결하여 LLM 기능을 제공합니다.

주요 아키텍처 구성 요소는 다음과 같습니다:

• 이중 뇌 모니터링: "센티넬"(경량 모델)이 카메라 프레임과 장치 로그를 주기적으로 분석하여 "코어"(메인 LLM)가 사용자에게 능동적으로 연락할 필요가 있는지 결정합니다.
• RAG 메모리: Gemini 임베딩을 사용한 벡터 기반 메모리 시스템으로, 대화를 자동 요약하고 하이브리드 스코어링 시스템(벡터 유사성, 키워드, 중요도)을 기반으로 관련 컨텍스트를 검색합니다.
• 스트리밍 TTS: 서버 사이드 파이프라인은 AI 응답을 문장 단위로 분할하고 CosyVoice2를 사용해 병렬로 합성하여 WebSockets/SSE를 통해 오디오 청크를 전송하여 거의 즉시 재생을 가능하게 합니다.
• 다중 모달 브리지: 안드로이드 앱은 오디오 녹음 및 카메라 프레임 캡처(ESP32-CAM 지원 포함)를 위한 네이티브 브리지 제공하여 브라우저 제한을 우회합니다.

대상 사용자

자신의 하드웨어에 존재하며, 통합된 카메라와 마이크를 통해 환경을 "보거나" "들을" 수 있는 매우 개인화되고 프라이버시 중심의 AI 보조를 원하는 사용자입니다.

주요 특징

• 능동형 AI: [CAM_CHECK] 및 [查看动态] 명령어를 사용하여 카메라 이벤트나 장치 활동 기반으로 AI가 대화를 시작할 수 있습니다.
• 하이브리드 메모리: 주기적인 자동 요약과 "인스턴트 센티넬"이 벡터 데이터베이스 검색 시점을 결정하는 기능을 결합합니다.
• 다중 플랫폼 동기화: WebSockets를 통한 PC와 모바일 간 실시간 동기화에 더해 PWA 지원으로 네이티브 앱 경험을 제공합니다.
• 통합 도구: EPUB 읽기용 AI 주석 모듈, akshare를 통한 자금 모니터링, TRPG 게임 엔진이 내장되어 있습니다.
• 음성 상호작용: WebRTC VAD를 통한 안정적인 음성 활성화와 반이중 회화 모드를 지원합니다.