Voine/ChatWaifu_Mobile

무엇을 해결하는가

이 프로젝트는 표준 LLM 채팅 경험을 몰입형 캐릭터 기반 상호작용으로 변환하는 Android 애플리케이션을 제공합니다. 특정 성격을 가진 가상 동반자를 만들기 위해 텍스트 생성, 음성 합성, 2D 애니메이션을 통합합니다.

작동 방식

이 앱은 실시간 상호작용 루프를 만들기 위해 여러 전문 기술을 결합합니다:

• 텍스트 생성: 대화 로직 및 캐릭터 페르소나를 위해 ChatGPT (via OpenAI API)를 사용합니다.
• 음성 합성: 텍스트 음성 변환을 위해 로컬 VITS-ncnn을 구현하여, 캐릭터가 특정 목소리(예: Blue Archive 또는 Steins;Gate의 목소리)로 말할 수 있게 합니다.
• 비주얼: Native Live2D SDK를 사용하여 화면에 애니메이션 2D 캐릭터를 렌더링합니다.
• 입력: 음성 기반 채팅을 가능하게 하는 음성 인식(speech-to-text)을 위해 로컬 Sherpa-ncnn을 채택합니다.
• 번역: GPT의 출력을 일본어로 변환하여 일본어 중심의 VITS 음성 모델과의 호환성을 보장하기 위해 Baidu Translate를 통합합니다.

대상 사용자

애니메이션 팬과 여러 AI 모달리티(음성, 텍스트, 애니메이션)를 단일 모바일 애플리케이션에 통합하는 데 관심이 있는 Android 개발자입니다.

주요 특징

• 로컬 추론: 음성 합성 및 음성 인식은 ncnn 라이브러리를 사용하여 기기에서 로컬로 처리됩니다.
• 커스텀 캐릭터: 사용자는 자신만의 VITS 및 Live2D 모델을 가져와 새로운 캐릭터를 만들 수 있습니다.
• 멀티모달 통합: Jetpack Compose로 구축된 단일 모바일 UI에서 LLM 텍스트, 로컬 TTS, 로컬 STT를 결합합니다.
• 페르소나 지원: 내장된 캐릭터 설정 및 외부 페르소나 구성을 지원합니다.