shinshin86/aituber-onair

해결하는 문제

AITuber OnAir는 라이브 시청자와 상호작용할 수 있는 AI 기반 VTuber(가상 유튜버)를 개발자가 구축할 수 있는 포괄적인 툴킷을 제공합니다. LLM, 텍스트 음성 변환(TTS), 아바타 렌더링, 시청자 관계 관리를 스트리밍 준비된 단일 애플리케이션에 통합하는 복잡성을 해결합니다.

작동 방식

이 프로젝트는 모듈식 TypeScript 프레임워크로 구축되었습니다. 사전 구축된 웹 앱으로 시작하거나, CLI를 사용하여 새 프로젝트를 스캐폴드하거나, 특정 패키지를 자체 스택에 통합할 수 있습니다. 시청자 댓글 수신, LLM을 통한 처리, 감정적 음성 응답 생성, 다양한 아바타 유형(VRM, Live2D, PNG 등)의 실시간 애니메이션화 등 전체 파이프라인을 처리합니다.

대상 사용자

이 툴킷은 YouTube 또는 Twitch와 같은 스트리밍 플랫폼을 위한 인터랙티브 AI 캐릭터를 만들고자 하는 개발자를 위한 것입니다. 빠른 시작 템플릿부터 채팅, 음성, 에이전트 로직에 대한 세밀한 제어까지 자신이 원하는 추상화 수준을 선택하려는 사람들을 위해 설계되었습니다.

주요 기능

• VRM, Live2D, Inochi2D, PNGTuber, Mesh 아바타 등 다양한 아바타 형식을 지원합니다.
• 반복 패턴 감지 및 더 매력적인 응답으로 재작성과 같은 대화 품질을 위한 특수 모듈을 포함합니다.
• 시청자 포인트, 레벨, 업적을 추적하는 내장 관계 시스템을 갖추고 있습니다.
• OpenAI, Claude, Gemini, VOICEVOX, VoicePeak과 같은 주요 LLM 및 TTS 제공업체에 대한 통합 액세스를 제공합니다.
• 다양한 템플릿으로 프로젝트를 몇 분 안에 스캐폴드할 수 있는 CLI 도구를 제공합니다.