Voine/ChatWaifu_Mobile

What it solves

このプロジェクトは、標準的なLLMチャット体験を、没入感のあるキャラクターベースのインタラクションへと変貌させるAndroidアプリケーションを提供します。テキスト生成、音声合成、および2Dアニメーションを統合し、特定の性格を持つバーチャルコンパニオンを作成します。

How it works

このアプリは、いくつかの特化した技術を組み合わせて、ライブなインタラクションループを作成します：

• Text Generation: ChatGPT (via OpenAI API) を使用して、会話ロジックとキャラクターのペルソナを制御します。
• Voice Synthesis: ローカルの VITS-ncnn をテキスト読み上げに実装し、キャラクターが特定の声（例：Blue Archive や Steins;Gate から）で話すことを可能にします。
• Visuals: Native Live2D SDK を使用して、画面上にアニメーション化された2Dキャラクターをレンダリングします。
• Input: ローカルの Sherpa-ncnn を音声認識に使用し、音声ベースのチャットを可能にします。
• Translation: Baidu Translate を統合して GPT の出力を日本語に変換し、日本語中心の VITS 音声モデルとの互換性を確保します。

Who it’s for

アニメファンや、複数のAIモダリティ（音声、テキスト、アニメーション）を単一のモバイルアプリケーションに統合することに興味があるAndroid開発者。

Highlights

• Local Inference: 音声合成と音声認識は、ncnn ライブラリを使用してデバイス上でローカルに処理されます。
• Customizable Characters: ユーザーは独自の VITS および Live2D モデルをインポートして、新しいキャラクターを作成できます。
• Multimodal Integration: Jetpack Compose で構築された単一のモバイル UI 内で、LLM テキスト、ローカル TTS、およびローカル STT を組み合わせます。
• Persona Support: 内蔵のキャラクター設定および外部のペルソナ構成をサポートしています。