radekd91/inferno

何を解決するか

INFERNO は、深層学習に基づく顔の再構成、アニメーション、および関連タスク向けに設計されたライブラリです。顔の動画データセットを処理し、再構成ネットワークを訓練し、その後、音声駆動アニメーションなどの応用に使用できる3D顔を生成するためのツールを提供します。

仕組み

PyTorch、PyTorch Lightning、およびFLAMEモデルに基づいて構築されており、コア研究ライブラリ（inferno）とアプリケーションプロトタイプ（inferno_apps）に分かれています。これらのアプリケーションは以下の特定タスクを実装しています：

• TalkingHead: EMOTEの公式リリースで、音声駆動の3Dアバターアニメーションを実現。
• FaceReconstruction: DECA、EMOCA、SPECTRE、およびMICA（EMICA経由）を統合し、実環境での高品質な顔再構成を実現。
• MotionPrior: EMOTEで使用される顔の運動事前知識であるFLINTを実装。
• EmotionRecognition: 1枚画像および動画ベースの感情認識用ツール。

対象ユーザー

3D顔モデリング、顔アニメーション、感情駆動の顔再構成に取り組む研究者および開発者。

特徴

• データセット処理から3D顔生成まで、パイプライン全体を統合したツール。
• EMICA を含む最先端の再構成モデルをサポート。
• 音声駆動の3Dアバターの微調整および実行が可能。
• 画像および動画ベースの感情認識用に専用モジュールを備える。