duixcom/Duix-Mobile

解决的问题

Duix Mobile 为开发者提供了一种在移动和嵌入式设备上创建实时交互式 AI Avatars 的方法。它消除了对云端服务器进行虚拟形象视觉和交互行为的依赖，实现了更具人性化的低延迟、隐私保护且轻量级的交互。

工作原理

这是一个开源 SDK，可以部署在 iOS、Android 和其他嵌入式屏幕上。开发者可以将自己的或第三方的语言大模型 (LLM)、自动语音识别 (ASR) 和文本转语音 (TTS) 服务集成到 SDK 中以驱动对话。该系统支持唇形同步、具有插话 (barge-in) 能力的流式音频，以及核心功能的本地执行，以确保在网络状况较差时的稳定性。

适用对象

构建智能客服、虚拟医生、虚拟律师、虚拟伴侣和虚拟导师应用的移动及嵌入式设备开发者。

亮点

• 超低延迟：在 Snapdragon 8 Gen 2 SoC 上响应时间低于 120ms。
• 端侧部署：本地运行以减少资源消耗并提高隐私性。
• 跨平台：支持 Android 和 iOS 一键部署。
• 类人交互：支持自然的面部表情、情感暗示以及支持中断的流式音频。
• 模块化设计：允许快速定制特定行业的解决方案。