ardha27/AI-Waifu-Vtuber

해결하는 문제

이 프로젝트는 사용자 또는 Twitch 시청자와 실시간으로 대화할 수 있는 대화형 AI 버추얼 유튜버(VTuber)를 생성합니다. 음성을 듣고, 캐릭터 일관성이 있는 응답을 생성하며, 해당 응답을 가상 아바타를 통해 말하는 파이프라인을 자동화합니다.

작동 방식

시스템은 여러 AI 서비스를 통합하여 원활한 루프를 생성합니다:

1. Speech-to-Text: OpenAI Whisper를 사용하여 음성 오디오를 텍스트로 변환합니다.
2. Brain: OpenAI의 LLM을 사용하여 사용자 정의 가능한 정체성/설정 파일에 기반한 응답을 생성합니다.
3. Translation: 선택적으로 DeepL 또는 Google Translate를 사용하여 응답을 대상 언어(예: 일본어)로 변환합니다.
4. Text-to-Speech: VoiceVox(일본어용) 또는 Silero TTS(영어, 러시아어, 스페인어를 포함한 다국어용)를 사용하여 음성을 생성합니다.
5. Visuals: 가상 오디오 케이블을 통해 VtubeStudio에 연결하여 오디오 출력에 따라 캐릭터 아바타를 애니메이션화합니다.
6. Twitch Integration: Twitch 채팅 스트림의 메시지를 읽고 응답할 수 있습니다.

대상 사용자

시청자와 상호작용하거나 음성 제어 어시스턴트 역할을 할 AI 기반 가상 페르소나를 원하는 콘텐츠 크리에이터 및 스트리머.

주요 특징

• 다국어 지원: 글로벌 언어 옵션을 위해 다양한 TTS 엔진과 호환됩니다.
• 캐릭터 커스터마이징: 텍스트 파일을 통해 AI의 성격과 설정을 정의할 수 있습니다.
• Twitch 채팅 통합: 라이브 스트리밍 중에 시청자의 메시지를 읽고 답변할 수 있습니다.
• 아바타 동기화: 시각적 표현을 위해 VtubeStudio와 함께 작동하도록 설계되었습니다.