AIGAnimation/CAMDM

해결하는 문제

CAMDM은 사용자가 제공한 제어 신호에 따라 실시간으로 고품질이고 다양한 캐릭터 애니메이션을 생성할 수 있는 방법을 제공합니다. 이는 100STYLE 데이터셋과 같은 다양한 스타일을 하나의 통합 모델을 통해 제어할 수 있게 하여, 각 스타일마다 별도의 애니메이션 시스템을 구축할 필요 없이 효율적으로 작업할 수 있도록 합니다.

작동 방식

이 프로젝트는 확산 확률 모델을 사용하여 움직임을 생성합니다. 시스템은 두 가지 주요 구성 요소로 나뉩니다: PyTorch 기반의 훈련 파이프라인에서 모델은 움직임 데이터(예: 100STYLE 데이터셋)를 기반으로 훈련된 후 ONNX 형식으로 변환됩니다. 이후 Unity 기반의 추론 엔진이 이 모델을 실시간으로 실행하여, 사용자가 키보드 입력(WASD로 이동, J/L로 스타일 전환)을 통해 캐릭터를 인터랙티브하게 제어할 수 있도록 합니다.

대상 사용자

실시간으로 스타일 인식이 가능한 캐릭터 애니메이션 제어가 필요한 컴퓨터 그래픽스, 게임 개발, 로봇 공학 분야의 개발자 및 연구자.

주요 특징

• 실시간 성능: 소비자용 GPU(RTX 3060)에서 60 FPS 이상을 달성합니다.
• 통합 모델: 하나의 모델로 여러 애니메이션 스타일을 처리할 수 있습니다.
• 크로스플랫폼 추론: Unity를 통해 소비자용 GPU 및 Apple Silicon 맥북을 지원합니다.
• 오픈소스: PyTorch 훈련 코드와 Unity 추론 구현 모두 포함되어 있습니다.