moeru-ai/airi

해결하는 문제

Project AIRI는 단순한 대화를 넘어서는 AI 가상 캐릭터(사이버 웨이푸 또는 디지털 동반자)를 위한 '영혼의 수용체'를 구축하는 것을 목표로 합니다. 기존의 AI 채팅 플랫폼은 역할극에 초점을 맞추고 있지만, AIRI는 현실 세계와 상호작용할 수 있고, Minecraft와 Factorio와 같은 게임을 플레이하며 Discord 및 Telegram과 같은 다양한 플랫폼에서 사용자와 소통할 수 있는 디지털 인간을 개발하는 데 집중합니다.

작동 방식

AIRI는 대규모 언어 모델(LLM)과 다양한 감각 및 운동 기능을 결합합니다:

• 뇌: OpenAI, Claude, DeepSeek 등 다양한 LLM 제공업체와 통합되며, 브라우저 내 데이터베이스(DuckDB WASM, pglite)를 사용해 게임 플레이 및 기억 유지 기능을 개발 중입니다.
• 귀: 브라우저 및 Discord에서 오디오 입력을 처리하며, 클라이언트 측 음성 인식 및 대화 감지 기능을 제공합니다.
• 입: ElevenLabs 및 로컬 Kokoro TTS와 같은 다양한 음성 합성 제공업체를 지원합니다.
• 몸: VRM 및 Live2D 모델을 지원하며, 깜빡임, 시선, 대기 동작 등의 자동 애니메이션을 제공합니다.

이 프로젝트는 크로스플랫폼 접근성을 위해 웹 기술(WebGPU, WebAssembly, WebAudio)을 사용하며, 데스크톱 버전은 NVIDIA CUDA, Apple Metal과 같은 네이티브 가속 기술을 활용합니다.

대상 사용자

• 개인화된 인터랙티브 디지털 동반자 또는 AI VTuber를 원하는 사용자.
• 웹과 AI 기술을 활용해 AI 기반 가상 캐릭터를 개발하고자 하는 개발자 및 아티스트.
• 게임 및 외부 통신 앱과 상호작용할 수 있는 AI 에이전트를 구현하고자 하는 크리에이터.

주요 특징

• 크로스플랫폼: 최신 브라우저, 모바일 기기(PWA), 데스크톱(Windows, macOS, Linux)에서 실행 가능.
• 게임 통합: Minecraft 및 Factorio 플레이 가능하며, Kerbal Space Program 및 Helldivers 2 등 다른 게임도 개발 중입니다.
• 광범위한 LLM 지원: xsai 라이브러리를 통해 다양한 API 제공업체와 호환됩니다.
• 시각적 정교함: Live2D 및 VRM 모델을 완전히 지원하며, 자율적인 애니메이션을 구현합니다.