BAIR PEVA: 전신 조건부 자아 중심 비디오 예측

BAIR는 **Predicting Ego-centric Video from human Actions (PEVA)**를 소개했으며, 이는 과거 프레임과 원하는 3D 자세 변화를 입력으로 다음 비디오 프레임을 예측할 수 있는 모델입니다. 이는 추상적인 제어 신호가 아니라 물리적으로 기반된 고차원 인간 행동 공간에 비디오 예측을 기반함으로써 구현체 에이전트를 위한 세계 모델을 만드는 중요한 단계입니다.

구현체 비디오 예측의 도전 과제

자아 중심 비디오를 예측하는 것은 행동과 시각이 강하게 맥락에 의존하고 인간 제어가 고차원적이기 때문에 본질적으로 어렵습니다. BAIR는 네 가지 주요 장애물을 확인했습니다:

  • 맥락 의존성: 동일한 시각적 시점이 환경에 따라 다른 움직임을 초래할 수 있고, 동일한 움직임이 환경에 따라 다른 시각적 결과를 만들 수 있습니다.
  • 고차원 제어: 전신 인간 움직임은 48개 이상의 자유도를 가지며 계층적이고 시간에 의존하는 역학을 포함합니다.
  • 숨겨진 신체 상태: 1인칭 시점은 에이전트의 목표를 보여주지만, 움직임을 수행하는 신체는 종종 가려져 있어 모델이 보이지 않는 행동으로부터 결과를 추론해야 합니다.
  • 시간 지연: 시각적 피드백은 물리적 행동보다 몇 초 정도 늦게 나타나므로 장기 예측과 시간적 추론이 필요합니다.

PEVA 기술 아키텍처

PEVA는 실제 세계의 자아 중심 비디오와 신체 자세 캡처를 짝지은 대규모 데이터셋 Nymeria를 사용해 학습된 자동회귀 조건부 확산 트랜스포머입니다.

구조화된 행동 표현

동작과 시각 사이의 격차를 메우기 위해, PEVA는 신체의 운동학 트리를 기반으로 고차원 벡터로 행동을 표현합니다. 행동 공간은 48차원이며 다음으로 구성됩니다:

  • 루트 변위: 전역 변위를 위한 3 자유도.
  • 상체 관절: 15개의 관절 각각이 3 자유도(상대 관절 회전을 위한 오일러 각)로 구성됩니다.

모든 움직임은 전역 좌표에서 골반 중심의 로컬 프레임으로 변환되어 위치와 방향의 불변성을 보장합니다.

조건부 확산 트랜스포머(CDiT) 향상

PEVA는 인간 움직임의 복잡성을 다루기 위해 표준 조건부 확산 트랜스포머를 세 가지 방식으로 확장합니다:

  1. 무작위 타임스킵: 모델이 즉각적인 단기 역학과 장기 활동 패턴을 모두 학습하도록 합니다.
  2. 시퀀스 수준 학습: 각 프레임 프리픽스에 손실을 적용하여 전체 움직임 시퀀스를 더 잘 시뮬레이션합니다.
  3. 행동 임베딩: 시간 $t$의 모든 행동을 1D 텐서로 연결해 각 AdaLN 레이어에 조건을 제공함으로써 고차원 전신 움직임 처리를 용이하게 합니다.

샘플링 및 롤아웃 전략

추론 시 PEVA는 자동회귀 롤아웃 전략을 사용합니다. 컨텍스트 프레임을 VAE 인코더로 인코딩하고 현재 행동을 추가한 뒤 다음 프레임을 예측합니다. 예측된 프레임은 컨텍스트에 추가되고 가장 오래된 프레임은 제거되며, 이 과정이 행동 시퀀스 전체에 걸쳐 반복됩니다. 속도 최적화를 위해 모델은 주의를 제한합니다: 이미지 주의는 대상 프레임에만 적용되고, 컨텍스트 교차 주의는 마지막 프레임에만 적용됩니다.

기능 및 적용 사례

원자 행동 시뮬레이션

PEVA는 "원자 행동"의 시각적 결과를 시뮬레이션할 수 있습니다. 여기에는 왼쪽 또는 오른쪽 손을 위·아래·좌·우로 움직이는 동작이나 전신 움직임(앞으로 이동, 좌·우 회전) 등이 포함됩니다. 이는 특정 관절 수준 움직임이 자아 중심 시점에 어떻게 변화를 일으키는지에 대한 모델의 이해를 보여줍니다.

장기 생성

모델은 16초에 걸친 일관된 롤아웃을 생성할 수 있으며, 이는 전체 전신 움직임에 조건화된 시각적·의미적 일관성을 유지합니다.

시각적 계획 및 반사실성

PEVA는 여러 행동 후보를 시뮬레이션하고 LPIPS(학습된 지각 이미지 패치 유사도)를 사용해 목표 이미지와 가장 가까운 시퀀스를 찾음으로써 계획에 활용될 수 있습니다.

계획은 교차 엔트로피 방법(CEM)을 이용한 에너지 최소화 문제로 공식화됩니다. 예를 들어, 모델은 특정 팔이 목표 물체(믹싱 스틱이나 주전자 등)에 도달하도록 행동 시퀀스를 최적화할 수 있지만, 현재 한계로는 양팔 간 협조 움직임이 부족하다고 연구진이 언급했습니다.

정량적 결과 및 스케일링

PEVA는 지각 품질 면에서 지속적으로 베이스라인을 능가하며 장시간 동안 일관성을 유지합니다. 연구진은 모델 크기가 커질수록 FID(Fréchet Inception Distance)를 포함한 여러 지표에서 성능이 향상되는 강력한 스케일링 특성을 관찰했습니다.

향후 방향

PEVA는 초기 단계이지만, BAIR는 다음과 같은 여러 향후 개발 영역을 제시합니다:

  • 폐쇄 루프 제어: 개방형 예측에서 인터랙티브 환경으로 전환.
  • 목표 조건화: 이미지 유사성을 프록시로 사용하는 대신 명시적인 작업 의도나 의미적 목표를 통합.
  • 객체 중심 표현: 특정 객체에 초점을 맞춘 표현을 도입해 상호작용 정확성을 향상.

Sources