radekd91/inferno

解決的問題

INFERNO 是專為基於深度學習的臉部重構、動畫及相關任務設計的程式庫。它提供工具來處理臉部影片資料集、訓練重構網路，並生成可後續用於音訊驅動動畫等應用的 3D 腦部。

工作原理

基於 PyTorch、PyTorch Lightning 和 FLAME 模型建構，該程式庫分為核心研究程式庫（inferno），包含模型、層與資料集處理器，以及一組應用原型（inferno_apps）。這些應用實作了以下特定任務：

• TalkingHead：EMOTE 的官方發布，用於音訊驅動的 3D 虛擬形象動畫。
• FaceReconstruction：結合 DECA、EMOCA、SPECTRE 和 MICA（透過 EMICA）實現高品質的野外臉部重構。
• MotionPrior：實作 FLINT，即 EMOTE 中使用的臉部運動先驗模型。
• EmotionRecognition：用於單張影像與影片的面部情緒辨識工具。

適用對象

從事 3D 腦部建模、臉部動畫與情緒驅動臉部重構的研究人員與開發者。

主要亮點

• 提供從資料集處理到 3D 腦部生成的完整流程整合工具。
• 支援最先進的重構模型，如 EMICA。
• 可微調並執行音訊驅動的 3D 虛擬形象。
• 包含針對影像與影片的面部情緒辨識專用模組。