radekd91/inferno

해결하는 문제

INFERNO는 딥러닝 기반 얼굴 재구성, 애니메이션 및 관련 작업을 위한 라이브러리입니다. 얼굴 영상 데이터셋을 처리하고, 재구성 네트워크를 훈련하며, 이후 음성 기반 애니메이션과 같은 응용에 사용할 수 있는 3D 얼굴을 생성할 수 있는 도구를 제공합니다.

작동 방식

PyTorch, PyTorch Lightning, 그리고 FLAME 모델 기반으로 구축되었으며, 모델, 레이어, 데이터셋 핸들러를 포함하는 핵심 연구 라이브러리(inferno)와 응용 프로토타입(inferno_apps)으로 나뉩니다. 이러한 응용 프로토타입은 다음과 같은 특정 작업을 구현합니다:

• TalkingHead: 음성 기반 3D 아바타 애니메이션을 위한 EMOTE의 공식 릴리스.
• FaceReconstruction: DECA, EMOCA, SPECTRE, MICA(EMICA를 통해)를 결합하여 실외 환경에서도 고품질의 얼굴 재구성을 가능하게 함.
• MotionPrior: EMOTE에서 사용되는 얼굴 운동 사전 지식인 FLINT을 구현.
• EmotionRecognition: 단일 이미지 및 영상 기반 감정 인식을 위한 도구.

대상 사용자

3D 얼굴 모델링, 얼굴 애니메이션, 감정 기반 얼굴 재구성에 종사하는 연구자 및 개발자.

주요 특징

• 데이터셋 처리에서 3D 얼굴 생성에 이르기까지 전체 파이프라인을 통합한 도구 제공.
• EMICA를 포함한 최첨단 재구성 모델 지원.
• 음성 기반 3D 아바타의 미세 조정 및 실행 가능.
• 이미지 및 영상 기반 감정 인식을 위한 전용 모듈 포함.