tegnike/aituber-kit

A web application for chatting with AI characters that anyone can easily set up and deploy.

AITuberKit란 무엇인가요?

AITuberKit는 웹 기반의 'AI튜버' — 즉, 말하고 듣고 YouTube와 같은 플랫폼에서 라이브 스트리밍도 가능한 가상 캐릭터를 구축할 수 있는 오픈소스 툴킷입니다. 다음과 같은 요소들을 통합합니다:

대규모 언어 모델(LLM) — OpenAI, Anthropic, Gemini, Ollama 등 다양한 API를 연결할 수 있습니다.
음성 합성(TTS) — VOICEVOX, ElevenLabs, Azure 등 수많은 TTS 엔진을 통해 모델의 텍스트를 음성으로 변환합니다.
아바타 렌더링 — 2D(Live2D), 3D(VRM), 애니메이션 PNG 캐릭터를 웹 페이지에 표시합니다.
상호작용 모드 — 브라우저에서 채팅, YouTube 채팅에 응답, 디지털 사이니지 키오스크에서 실행, 게임 해설 봇으로 작동할 수 있습니다.

이 모든 기능은 로컬, Docker, 또는 Vercel이나 Cloudflare Workers와 같은 서버리스 플랫폼에 배포 가능한 Next.js 애플리케이션으로 패키지화되어 있습니다.

누구에게 적합한가요?

대상	적합한 이유
콘텐츠 크리에이터 / 스트리머	관객의 댓글에 자동으로 응답하는 가상 아바타를 라이브 호스트로 활용할 수 있습니다.
교육자 / 취미 개발자	저수준 코드를 작성하지 않고도 AI 기반의 교육 보조원이나 데모 캐릭터를 빠르게 프로토타이핑할 수 있습니다.
기업	상용 라이선스를 확보하면 웹사이트나 키오스크에 브랜드화된 AI 어시스턴트를 배포할 수 있습니다.
개발자	WebSocket API, 커스텀 프롬프트, 또는 새로운 TTS/LLM 서비스를 플러그인으로 추가하여 플랫폼을 확장할 수 있습니다.

어떻게 작동하나요?

프론트엔드 — Next.js UI가 아바타(VRM/Live2D/PNG)를 표시하고 마이크 또는 카메라 입력을 캡처합니다.
백엔드 — 서버사이드 코드가 사용자 텍스트/오디오를 선택한 LLM 또는 OpenAI Realtime API로 전달하고 응답을 받으며, 필요 시 TTS 서비스를 호출해 오디오를 생성합니다.
메모리 — 단기 대화는 세션 내에서 유지되며, RAG 스타일의 장기 저장소를 구성해 과거 컨텍스트를 가져올 수 있습니다.
모드 —
- 채팅 모드 — 브라우저에서 직접 채팅.
- YouTube 스트리밍 모드 — YouTube 댓글(또는 OneComme)을 페칭하고 아바타가 응답할 수 있습니다.
- 데모/키오스크 모드 — 전체 화면, 비밀번호 보호, NG 단어 필터링이 포함된 표시.
- 게임 해설 모드 — 화면 프레임을 캡처하고 이미지 분석을 수행해 실시간 해설을 생성합니다.
배포 — npm run dev로 로컬 개발, Docker Compose로 컨테이너 실행, Vercel/Cloudflare Workers에서는 한 번의 클릭으로 빌드.

오늘 할 수 있는 일

지원되는 LLM을 사용해 AI 캐릭터와 대화할 수 있습니다.
수십 가지 TTS 제공업체로 음성 추가가 가능합니다.
YouTube에서 스트리밍하고 아바타가 실시간 채팅에 자동 응답하게 할 수 있습니다.
얼굴 인식을 사용해 방문자를 인사하는 키오스크에서 실행할 수 있습니다.
낮은 지연 시간의 Realtime API를 활성화해 빠른 양방향 대화를 가능하게 합니다.
WebSocket 또는 간단한 HTTP API를 통해 외부 앱과 연결해 아바타에게 텍스트나 이미지를 전송할 수 있습니다.

시작하기는 얼마나 쉬울까요?

git clone … && cd aituber-kit && npm install
.env.example → .env로 복사하고 OpenAI, ElevenLabs 등 필요한 API 키를 입력합니다.
npm run dev (또는 LAUNCH.bat / LAUNCH.command를 더블클릭).
http://localhost:3000을 열면 아바타 UI가 표시됩니다.

Docker 사용자는 2~3단계를 docker compose up -d로 대체할 수 있습니다.

유사 프로젝트와의 비교

기능	AITuberKit	일반적인 'VTuber' 봇 (예: VTube Studio + 커스텀 스크립트)
올인원	UI, LLM 통합, TTS, 스트리밍, 배포 스크립트를 기본 제공.	보통 별도 도구들을 수동으로 조합해야 함.
모델 지원 형식	VRM, Live2D, 애니메이션 PNG.	보통 하나의 형식에 국한됨.
LLM 다양성	20개 이상의 제공업체, 로컬 Ollama 및 OpenRouter 포함.	보통 OpenAI만 지원.
배포 옵션	로컬, Docker, Vercel, Cloudflare Workers.	대부분 로컬 전용.
상용 라이선스	유료 사용을 위한 커스텀 라이선스(명확한 정책).	상황에 따라 다름, 종종 불명확.

누구의 손길로 만들어졌나요?

이 프로젝트는 Pixiv의 ChatVRM의 포크이며, 일본어 개발자 커뮤니티가 유지 관리하고 있습니다 (기여자 목록은 매우 길며 참조). 리포지토리는 활발히 스타되고 포크되며, 저자는 데모 사이트, 문서 사이트, 그리고 지원을 위한 Discord 커뮤니티를 제공합니다.

주의할 점은?

커스텀 라이선스 — 상용 사용에는 별도 계약이 필요합니다. 라이선스 파일을 반드시 읽어보세요.
API 키 처리 — 백엔드는 요청을 프록시하지만, 프로덕션 환경에서는 키를 보호해야 합니다.
모델 자산 — 포함된 캐릭터 모델은 각각 제한된 라이선스를 가지고 있으며, 상용 재배포는 금지되어 있습니다.

TL;DR

AITuberKit는 AI 기반 가상 발표자 생성을 위한 비교적 완성도 높은 오픈소스 플랫폼입니다. LLM 채팅, 음성 합성, 아바타 렌더링, 라이브 스트리밍 통합 기능을 모두 포함하며, 로컬 또는 클라우드에 배포 가능합니다. YouTube에서 말하는 아바타나 키오스크 어시스턴트로 빠르게 전환하고 싶다면, 이 툴킷은 거의 모든 기반 기능을 제공합니다. 다만, 커스텀 라이선스 조건을 준수해야 합니다.