hokindeng/object-permanence

해결하는 문제

이 프로젝트는 월드 모델에서 '객체 영속성'의 과제를 해결합니다. 이는 AI가 객체가 시야에서 가려져도(폐색) 계속 존재한다는 것을 이해하는 능력입니다. 초기 비디오 클립을 기반으로 장면의 미래 상태를 예측하기 위해 합성 데이터를 생성하고 모델을 훈련하는 포괄적인 프레임워크를 제공합니다.

작동 방식

시스템은 두 가지 주요 구성 요소로 나뉩니다:

1. 데이터 팩토리: 비디오-투-비디오 샘플을 생성하는 150개의 Blender 렌더링 작업 생성기 세트. 이러한 샘플은 입력 비디오(분할 지점까지의 시뮬레이션), 대상 비디오(분할 지점 이후의 시뮬레이션), 텍스트 프롬프트 및 실제 궤적으로 구성됩니다.
2. 훈련 스택: AWS Trainium2에 최적화된 NVIDIA Cosmos3-Nano의 네이티브 PyTorch 구현. 텐서 병렬 처리와 FSDP2를 사용하여 생성된 합성 데이터에서 모델을 훈련하여 폐색된 객체에 대한 예측 능력을 향상시킵니다.

대상 독자

주로 월드 모델, 비디오 생성 및 기계 학습의 공간 추론에 종사하는 AI 연구자와 개발자를 대상으로 합니다.

주요 특징

• 대규모 합성 데이터 세트: 고품질 훈련 데이터를 생성하기 위한 150개의 인지 기반 작업 생성기를 포함합니다.
• 고성능 훈련: 네이티브 PyTorch를 사용하여 AWS Trainium2에 최적화되어 XLA 그래프 추적을 피합니다.
• 상세한 실제 데이터: 정확한 평가를 위해 장면의 모든 객체에 대한 프레임별 궤적을 제공합니다.
• 통합 파이프라인: Blender를 통한 데이터 생성부터 대규모 모델 훈련까지 전체 워크플로우를 다룹니다.