radekd91/inferno

解决的问题

INFERNO 是一个专为基于深度学习的面部重建、动画及相关任务设计的库。它提供工具用于处理面部视频数据集、训练重建网络，并生成可用于后续应用（如音视频驱动动画）的3D面部。

工作原理

基于 PyTorch、PyTorch Lightning 和 FLAME 模型构建，该库分为核心研究库（inferno），包含模型、层和数据集处理器，以及一组应用原型（inferno_apps）。这些应用实现了以下具体任务：

• TalkingHead：EMOTE 的官方发布，用于音视频驱动的 3D 虚拟形象动画。
• FaceReconstruction：结合 DECA、EMOCA、SPECTRE 和 MICA（通过 EMICA）实现高质量的野外面部重建。
• MotionPrior：实现 FLINT，即 EMOTE 中使用的面部运动先验模型。
• EmotionRecognition：用于单图和视频的面部情绪识别工具。

适用人群

从事 3D 面部建模、面部动画和情绪驱动面部重建的研究人员和开发者。

主要亮点

• 提供从数据集处理到 3D 面部生成的完整流水线集成工具。
• 支持最先进的重建模型，如 EMICA。
• 可微调并运行音视频驱动的 3D 虚拟形象。
• 包含针对图像和视频的面部情绪识别专用模块。