ddxfish/sapphire

해결하는 문제

Sapphire는 장기 기억, 음성 상호작용, 그리고 물리적·디지털 세계와 상호작용할 수 있는 고도로 맞춤화된 AI 페르소나를 만들기 위해 설계된 자체 호스팅 에이전트 프레임워크입니다. 단순한 챗봇을 넘어 AI 에이전트가 목표를 자율적으로 관리하고, 셸 명령을 실행하며, 스마트 홈 기기와 통합할 수 있는 시스템을 제공하는 것을 목표로 합니다.

작동 방식

이 시스템은 대규모 언어 모델(LLM)의 래퍼 역할을 하며, 로컬(Ollama/LM Studio를 통해) 및 클라우드 제공자를 모두 지원합니다. 의미 벡터 검색과 밤마다 기억을 정리하는 "사서"를 갖춘 계층형 메모리 엔진(Mind Palace)을 사용합니다. 상호작용을 위해 웨이크 워드 감지, 음성-텍스트(STT), 텍스트-음성(TTS)을 결합하여 핸즈프리 대화를 지원합니다. AI가 자체 도구, 훅, UI 구성 요소를 추가할 수 있는 플러그인 시스템을 통해 확장성이 뛰어납니다.

대상 사용자

자체 시스템에서 자율적으로 작업을 수행하고 코드를 실행할 수 있는 개인적이고 자체 호스팅된 AI 동반자 또는 스마트 홈 컨트롤러를 원하는 개발자와 AI 애호가를 위해 설계되었습니다.

주요 기능

• 자율 에이전트: 셸 명령 실행, 계층적 목표 관리, 백그라운드 AI 워커(에이전트) 생성 가능.
• 깊은 기억: 100K 이상의 항목에 대한 의미 벡터 검색과 일관된 페르소나를 유지하기 위한 야간 정리 프로세스를 갖추고 있습니다.
• 음성 통합: 웨이크 워드, 끼어들기 대화 모드, 실제 전화 통화를 위한 Twilio 통합을 포함한 완전한 음성 스택.
• 확장 가능한 생태계: 커뮤니티 제작 도구를 위한 플러그인 스토어와 AI가 런타임에 자체 플러그인을 작성하고 설치할 수 있는 기능.
• Crosspoint 통합: Home Assistant, Discord, Telegram, Email, Google Calendar, Bitcoin 지갑을 기본 지원.
• 멀티모달 기능: 웹캠 이미지 캡처를 위한 비전 지원 LLM과 시각적 존재감을 위한 3D 애니메이션 아바타를 지원합니다.