kleinlee/DH_live

解決的問題

DH_live 提供了一種高效率、超輕量的解決方案，可於移動瀏覽器與低功耗裝置上實時運行 2D 數位人，無需 GPU 或大量訓練。

運作方式

本專案採用專用架構，包含影片生成模型（DINet_mini）、語音特徵模型（LSTM）以及臉部偵測/網格模型，根據音訊輸入驅動數位人動畫。影片資料被處理為輕量格式，可即時串流至 Web 客戶端，並在裝置端直接進行推論。近期更新已將 MediaPipe 等依賴項，替換為更高效的背景移除演算法（matanyone2）。

適用對象

希望在網站、行動應用或小程序中整合即時、互動式數位形象，但又不願承擔重型伺服器端 GPU 渲染負擔的開發者與企業。

主要特色

• 極低的運算需求：單一畫面推論僅需約 39 Mflops，比大多數行動臉部偵測演算法更快。
• 無需訓練：系統為開箱即用，無需複雜的訓練流程。
• 極小的體積：Web 資源可壓縮至 3MB 以下。
• 跨平台支援：支援 Windows、Linux、macOS 以及行動瀏覽器（iOS/Android）。
• 完整流程整合：包含完整的即時對話流程，涵蓋 VAD、ASR、LLM、TTS 及數位人動畫。