Voine/ChatWaifu_Mobile

What it solves

本项目提供了一个 Android 应用程序，将标准的 LLM 对话体验转变为沉浸式的、基于角色的交互。它集成了文本生成、语音合成和 2D 动画，以创建一个具有特定性格的虚拟伴侣。

How it works

该应用结合了多种专业技术来创建一个实时的交互循环：

• Text Generation: 使用 ChatGPT (通过 OpenAI API) 进行对话逻辑和角色人格。
• Voice Synthesis: 实现本地 VITS-ncnn 用于文本转语音，允许角色使用特定的声音（例如，来自 Blue Archive 或 Steins;Gate）。
• Visuals: 使用 Native Live2D SDK 在屏幕上渲染动画 2D 角色。
• Input: 采用本地 Sherpa-ncnn 进行语音转文本识别，实现基于语音的聊天。
• Translation: 集成了 Baidu Translate 以将 GPT 的输出转换为日语，以确保与以日语为中心的 VITS 语音模型兼容。

Who it’s for

动漫粉丝和对将多种 AI 模态（语音、文本和动画）集成到单个移动应用程序中感兴趣的 Android 开发人员。

Highlights

• Local Inference: 语音合成和语音识别是在设备上使用 ncnn 库本地处理的。
• Customizable Characters: 用户可以导入自己的 VITS 和 Live2D 模型来创建新角色。
• Multimodal Integration: 在使用 Jetpack Compose 构建的单个移动 UI 中结合了 LLM 文本、本地 TTS 和本地 STT。
• Persona Support: 包括内置的角色设置并支持外部人格配置。