kleinlee/DH_live

何を解決するか

DH_live は、GPU や大量のトレーニングを必要とせずに、モバイルブラウザや低消費電力デバイス上でリアルタイムで動作する 2D デジタル人間を生成する、高性能で極めて軽量なソリューションを提供します。

動作方法

このプロジェクトは、動画生成モデル（DINet_mini）、音声特徴モデル（LSTM）、顔検出/メッシュモデルから構成される特殊なアーキテクチャを使用して、音声入力に基づいてデジタル人間をアニメーション化します。ビデオデータは軽量な形式に変換され、Webクライアントにストリーミングされ、デバイス上で直接推論が行われます。最近の更新では、MediaPipe などの依存関係が、背景除去により効率的なマッティングアルゴリズム（matanyone2）に置き換えられています。

対象ユーザー

サーバーサイドのGPUレンダリングの負荷を避け、ウェブサイト、モバイルアプリ、ミニプログラムにリアルタイムでインタラクティブなデジタルアバターを統合したい開発者や企業向けです。

主な特徴

• 極めて低い計算リソース要件：1フレームの推論にたった 39 Mflops で済み、ほとんどのモバイル顔検出アルゴリズムよりも高速です。
• トレーニング不要：複雑なトレーニングプロセスなしに、オープンボックスで即座に利用可能。
• 極めて小さなフットプリント：Webリソースは 3MB 未満に圧縮可能。
• クロスプラットフォーム対応：Windows、Linux、macOS、およびモバイルブラウザ（iOS/Android）で動作。
• 完全なパイプライン統合：VAD、ASR、LLM、TTS、およびデジタル人間アニメーションを含む、完全なリアルタイム会話フローを提供。