moeru-ai/airi

💖🧸 Self hosted, you-owned Grok Companion, a container of souls of waifu, cyber livings to bring them into our worlds, wishing to achieve Neuro-sama's altitude. Capable of realtime voice chat, Minecraft, Factorio playing. Web / macOS / Windows supported.

해결 과제

Project AIRI는 단순한 채팅 인터페이스를 넘어선 "디지털 휴먼" 또는 AI 동료를 만드는 것을 목표로 합니다. 사용자의 환경과 상호작용하고, Minecraft나 Factorio 같은 게임을 플레이하며, Discord나 Telegram 같은 플랫폼을 통해 소통할 수 있는 지속적이고 대화형인 가상 캐릭터(Neuro-sama에서 영감을 받음)를 제공하고자 합니다.

작동 원리

AIRI는 크로스 플랫폼 접근성을 위한 웹 기술(WebGPU, WebAssembly, WebAudio)과 데스크톱 버전을 위한 네이티브 성능 계층(NVIDIA CUDA, Apple Metal via the candle project)을 결합하여 구축되었습니다. 다음과 같은 다양한 AI 구성 요소를 통합합니다:

  • Brain: 여러 LLM 제공업체(xsai 경유)에 연결되며, 게임 플레이 로직과 메모리 시스템을 처리하도록 개발 중입니다.
  • Ears: 브라우저 및 Discord의 오디오 입력을 위한 클라이언트 측 음성 인식 및 말하기 감지 기능을 구현합니다.
  • Mouth: ElevenLabs, Azure, 로컬 Kokoro TTS를 포함한 다중 제공업체 음성 합성(TTS)을 사용합니다.
  • Body: 눈 깜빡임, 시선 처리, 대기 동작을 위한 자동 애니메이션이 포함된 VRM 및 Live2D 모델을 지원합니다.

대상 사용자

실시간으로 상호작용하고, 게임을 플레이하며, 브라우저, 데스크톱, 모바일(PWA) 환경 전반에 걸쳐 존재할 수 있는 개인용 AI 동료나 가상 스트리머(VTuber)를 원하는 사용자.

주요 특징

  • 크로스 플랫폼: 최신 브라우저, 데스크톱(Windows, macOS, Linux) 및 모바일 기기에서 실행됩니다.
  • 게임 통합: Minecraft 및 Factorio를 플레이할 수 있습니다(후자는 PoC 단계).
  • 광범위한 LLM 지원: OpenAI, Claude, Gemini 및 Ollama, vLLM과 같은 로컬 엔진을 포함한 다양한 제공업체와 호환됩니다.
  • 시각적 충실도: 자율 애니메이션을 갖춘 3D VRM 및 2D Live2D 아바타를 완벽하게 지원합니다.

관련

  • 프로젝트
    coulsontl/ai-toolbox

    AI Toolbox는 여러 AI 코딩 어시스턴트(Claude, Codex, Gemini, Grok, Kimi 등)의 설정, 프롬프트, 플러그인, 세션 기록 및 백업을 중앙에서 관리하는 크로스 플랫폼 데스크톱 매니저입니다. GUI, 로컬 프록시 게이트웨이, WSL/SSH 동기화, 스킬 마켓플레이스, 시스템 트레이 단축키를 제공하며 React/Tauri 및 SQLite로 구축되었습니다.

  • 프로젝트
    dromara/wgai

    WGAI는 컴퓨터 비전, 음성 인식, 로봇 내비게이션을 통합하고 오프라인 배포를 지원하는 산업용 멀티모달 AI 관리 플랫폼입니다.

  • 프로젝트
    PunithVT/ai-avatar-system

    AvatarAI는 어떤 포트레이트 사진과 짧은 음성 샘플을 실시간으로 입모양이 동기화된 대화 가능한 아바타로 변환할 수 있는 오픈소스이며 프로덕션 준비 완료된 시스템입니다. Whisper로 변환된 음성 텍스트를 선택 가능한 LLM(Claude, GPT-4o, 또는 로컬 Ollama/vLLM)에 스트리밍하고, 생성된 텍스트를 다국어 TTS(Chatterbox/XTTS)에 전달한 후 MuseTalk V1.5로 비디오 프레임을 렌더링합니다. Next.js 프론트엔드, FastAPI 백엔드, PostgreSQL, Redis, Celery, Prometheus, Docker-Compose를 스택에 포함하며, 원클릭 AWS GPU 배포도 가능합니다. 제로샷 음성 클론, 바지인 중단, 다중 LLM 지원, JWT 인증, 대화 메모리 요약, GFPGAN을 통한 얼굴 복원 등의 기능을 갖추고 있습니다.

  • 프로젝트
    luoguoxiong/aipack

    가벼우면서 확장 가능한 TypeScript 에이전트 프레임워크로, 런타임과 플러그인 가능한 생태계를 제공하며, 메모리, 컨텍스트 압축, MCP를 내장 지원합니다.

  • 프로젝트
    hypothesi/mcp-server-tauri

    MCP Server Tauri는 AI 어시스턴트(Claude, Cursor, Windsurf 등)를 실행 중인 Tauri v2 앱에 연결하는 Node 기반의 Model Context Protocol 서버입니다. 스크린샷, DOM 스냅샷, 콘솔 로그, Tauri IPC 트래픽을 스트리밍하고, UI 자동화, IPC 검사, 로그 스트리밍, 모바일 장치 목록 조회를 위한 21개의 명령어를 제공합니다. Tauri 바이너리에 작은 Rust 브리지 플러그인을 설치함으로써 어시스턴트에게 풍부한 실시간 컨텍스트를 제공하여, 외부 드라이버 없이 AI 기반 디버깅, 코드 생성, 크로스플랫폼 UI 제어를 가능하게 합니다.