AlphaAvatar/AlphaAvatar

A real-time interactive Omni Avatar built on LiveKit, which allows you to seamlessly integrate with any open source Avatar components (real-time model, visual, voice, memory, search, etc.).

해결하는 문제

AlphaAvatar는 개인 정보를 최우선으로 하는 자체 호스팅 가능한 개인용 AI 어시스턴트를 구축하기 위한 프레임워크를 제공합니다. 이는 '지능적인 하인'처럼 작동하는 에이전트를 가능하게 합니다. 단순한 챗봇을 넘어서 상태를 유지하고 능동적으로 작동하며, 음성, 텍스트, 영상 등 다양한 채널을 통해 상호작용할 수 있는 멀티모달 에이전트를 가능하게 하여 사용자 선호사항을 기억하고 장기적인 작업을 계획할 수 있습니다.

작동 방식

이 시스템은 실시간 에이전트 아키텍처를 플러그인 기반으로 사용하며, 음성, 카메라, 화면과 같은 멀티모달 관측 데이터를 핵심 인지 레이어에서 처리합니다. 다음과 같은 주요 모듈을 통합합니다:

  • 메모리 및 페르소나: 그래프 인식 멀티모달 메모리와 자동 페르소나 추출을 사용하여 정체성의 연속성과 사용자 이해를 유지합니다.
  • 인터랙션 라우터: 실시간 음성 라우팅, 대화 순서 관리 및 중단을 처리합니다.
  • 도구 통합: MCP(Model Context Protocol), RAG를 통한 문서 검색, DeepResearch를 통한 웹 검색을 통해 외부 세계와 연결됩니다.
  • 가상 캐릭터: 실시간 상호작용을 위한 어시스턴트의 시각적 표현을 제공합니다.
  • 인프라스트럭처: 다양한 LLM 제공자 및 벡터 및 정체성 데이터를 위한 저장 백엔드(LanceDB 또는 Qdrant 등)에 연결됩니다.

대상 사용자

개인 생활 지표를 관리하고, 지식을 정리하며, 작업을 스케줄링하고, 자율적인 다단계 워크플로우를 실행할 수 있는 고도로 개인화된 자체 호스팅 AI 동반자를 원하는 개발자 및 사용자에게 적합합니다.

주요 특징

  • 개인정보 최우선: 완전히 자체 호스팅 가능하여 사용자가 데이터와 메모리에 대한 완전한 통제권을 가집니다.
  • 멀티모달 상호작용: 전용 가상 캐릭터 인터페이스를 통해 실시간 음성, 텍스트, 카메라 입력을 지원합니다.
  • 능동적 계획: 작업 분해, 알림, 장기 목표 실행을 위한 모듈을 포함합니다.
  • 확장 가능한 도구: 외부 API와 MCP를 통합하고, 개인 지식 기반을 위한 RAG를 활용합니다.
  • 다양한 접근 채널: 웹 데모, LiveKit 플레이그라운드, WhatsApp 같은 메시징 플랫폼을 통해 이용 가능합니다.

관련

  • 프로젝트
    KevinLiss/ApeAdmin

    ApeAdmin은 AI 애플리케이션을 위한 오픈소스 FastAPI + Vue 3 관리자 프레임워크입니다. WordPress 스타일의 설치 마법사, 완전한 RBAC, 플러그인 아키텍처, 그리고 백엔드 기능을 LLM 에이전트가 호출할 수 있는 도구로 전환하는 MCP‑SSE 게이트웨이를 제공합니다. 내장된 다중 모델 채팅, 감사 로그, 플러그인 마켓을 통해 추가 API를 작성하지 않고도 보안적인 관리자 UI를 빠르게 구축하고 비즈니스 로직을 AI 에이전트에 노출할 수 있습니다.

  • 프로젝트
    RTGS2017/NagaAgent

    NagaAgent는 Windows/macOS/Linux를 지원하는 크로스플랫폼 데스크톱 AI 어시스턴트로, OpenAI 호환 LLM과의 채팅, JSON 블록을 통한 사용자 정의 도구 호출, Neo4j에 저장된 그래프-RAG 메모리, Live2D 애니메이션 아바타, 리프싱크 기능이 있는 음성 합성/인식, 날씨, 웹 검색, 게임 가이드 등 다양한 플러그인을 지원하는 MCP 프레임워크, 포럼과 스킬 마켓을 포함한 커뮤니티 기능을 제공합니다. Electron/Vue 프론트엔드와 Python FastAPI 백엔드로 구성되며, `uv sync` (또는 pip)로 설치 가능하며, AGPL-3.0 + 독점적 상용 라이선스의 이중 라이선스입니다.

  • 프로젝트
    dromara/wgai

    WGAI는 Spring-Boot + Vue 기반의 웹 플랫폼으로, 비전(OpenCV, YOLO, OCR, 얼굴 인식), 오디오(음성-텍스트 변환, ChatGPT 스타일 대화), 디지털 인간 아바타, AGV 내비게이션을 오프라인 우선, 산업용 수준의 AI 관리 시스템으로 통합합니다. 온라인 데이터 어노테이션, 모델 학습, 실시간 영상/오디오 분석, 시스템 모니터링을 제공하며, 설정용 UI와 공개 데모 인스턴스도 포함됩니다. 코드는 AGPL-3.0이며, 지원은 주로 유료 중국어 커뮤니티를 통해 제공됩니다.

  • Dispatch
    ChatGPT 플러그인 출시

    OpenAI는 ChatGPT용 플러그인을 도입하여 모델이 실시간 정보에 접근하고, 계산을 수행하며, 타사 서비스와 통합하여 활용도를 확대하고 환각을 줄일 수 있게 했습니다.

  • 프로젝트
    lc2panda/alphastream

    Alphastream은 AI 기반 금융 분석 웹 앱입니다. DeepSeek/어떤 OpenAI 호환 LLM과 LangGraph를 사용하여 14개의 전문 에이전트(기술적, 기초, 감성, 리스크 등)와 4개의 투자자 성격 에이전트를 실행합니다. 중국, 미국, 홍콩, 암호화자산, 매크로 데이터를 커버하는 이중 어댑터(AKShare & BaoStock)에서 실시간 시장 데이터를 제공합니다. Next.js + React 프론트엔드는 다크 글래스 모르피즘 UI를 제공하며, 채팅, 대시보드, 차트 카드를 포함합니다. Flask 백엔드는 SSE를 통해 에이전트 진행 상황을 스트리밍합니다. 모든 서비스는 단일 Docker-Compose 명령어로 시작할 수 있습니다.