kleinlee/DH_live

解决的问题

DH_live 提供了一种高性能、超轻量的解决方案，用于创建可在移动浏览器和低功耗设备上实时运行的 2D 数字人，无需 GPU 或大量训练。

工作原理

该项目采用专用架构，包括视频生成模型（DINet_mini）、语音特征模型（LSTM）以及人脸检测/网格模型，基于音频输入驱动数字人动画。视频数据被处理为轻量格式，可流式传输至 Web 客户端，并在设备端直接进行推理。最近更新已将 MediaPipe 等依赖项替换为更高效的抠图算法（matanyone2），用于背景移除。

适用人群

希望在网站、移动应用或小程序中集成实时、交互式数字形象，但又不想承担重型服务器端 GPU 渲染开销的开发者和企业。

核心亮点

• 极低的计算需求：单帧推理仅需约 39 Mflops，比大多数移动人脸检测算法更快。
• 无需训练：系统为开箱即用，无需复杂的训练流程。
• 极小的体积：Web 资源可压缩至 3MB 以下。
• 跨平台支持：支持 Windows、Linux、macOS 以及移动浏览器（iOS/Android）。
• 完整流水线集成：包含完整的实时对话流程，涵盖 VAD、ASR、LLM、TTS 以及数字人动画。