lipku/LiveTalking

解决的问题

LiveTalking 是一个用于数字人类的实时交互流式引擎。它解决了创建逼真、同步的视听对话界面的挑战，让虚拟化身可以根据文本或语音输入实时说话，从而实现 AI 客服、虚拟直播和自动化教育内容等应用。

工作原理

系统遵循一个管道：用户输入（文本/音频）$\rightarrow$ LLM 生成响应 $\rightarrow$ TTS 合成语音 $\rightarrow$ 数字人类唇形同步 $\rightarrow$ 流式输出。它使用深度学习模型，如 Wav2Lip、MuseTalk 和 ER-NeRF，来生成与音频特征（如梅尔频谱图）匹配的唇部动作，并将这些动作融合回高清视频中。

适用对象

• 内容创作者：用于 24/7 无人直播和批量短视频制作。
• 企业：用于 AI 驱动的客服和互动展览展示。
• 教育工作者：用于创建数字教师克隆，进行实时或录制教学。
• 开发者：需要 API 驱动框架将数字人类集成到应用或智能音箱中的人。

亮点

• 多模型支持：兼容 ernerf、musetalk、wav2lip 和 Ultralight-Digital-Human。
• 灵活输出：支持 WebRTC 用于低延迟浏览器流式传输、RTMP 用于 YouTube/Bilibili 等平台，以及虚拟摄像头输出。
• 交互功能：支持语音克隆、说话时可被打断，以及自定义动作编排（静音时播放特定视频）。
• 可扩展架构：具有去中心化注册系统，可添加自定义 TTS、Avatar 和 Output 模块。