Voine/ChatWaifu_Mobile

解決的問題

此專案提供一個 Android 應用程式，將標準的 LLM 聊天體驗轉化為沉浸式的角色互動。它整合了文字生成、語音合成與 2D 動畫，創造出具有特定個性的虛擬夥伴。

運作方式

該應用程式結合多項專用技術，建立一個即時互動迴圈：

• 文字生成： 使用 ChatGPT（透過 OpenAI API）處理對話邏輯與角色人格。
• 語音合成： 實作本地的 VITS-ncnn 進行語音合成，讓角色能以特定語音說話（例如來自《碧藍檔案》或《Steins;Gate》）。
• 視覺呈現： 使用 Native Live2D SDK 在螢幕上渲染動畫 2D 角色。
• 輸入： 採用本地的 Sherpa-ncnn 進行語音辨識，支援語音聊天功能。
• 翻譯： 整合百度翻譯，將 GPT 的輸出轉換為日語，確保與以日語為主的 VITS 語音模型相容。

適用對象

喜愛動漫的使用者與對整合多種 AI 模態（語音、文字、動畫）至單一行動應用程式感興趣的 Android 開發者。

特色亮點

• 本地推理： 語音合成與語音辨識皆在裝置上透過 ncnn 庫本地處理。
• 可自訂角色： 使用者可匯入自己的 VITS 與 Live2D 模型，創造新角色。
• 多模態整合： 在以 Jetpack Compose 建構的單一行動介面中，整合 LLM 文字、本地 TTS 與本地 STT。
• 角色設定支援： 內建角色設定，並支援外部角色配置。

這是一個令人驚艷的整合，將多種 AI 技術融合於一個流暢的行動體驗中 — @username