simchowitzlabpublic/nano-world-model

해결하는 문제

Nano World Model은 동영상 월드 모델 학습을 위한 최소한의 오픈소스 프레임워크를 제공합니다. 확산 강제 기반의 미래 동영상 프레임 예측을 위한 투명하고 접근 가능한 코드베이스를 제공하여 로봇공학 및 게임 분야의 환경 시뮬레이션을 가능하게 합니다.

작동 방식

이 프로젝트는 확산 강제 접근법을 사용하여 동영상 월드 모델을 구현합니다. Hydra 기반의 구성 시스템을 통해 학습, 검증, 평가를 통합된 파이프라인으로 관리합니다. 모델은 이전 프레임과 액션 주입을 기반으로 다음 프레임을 예측하는 자기회귀적 장기 예측을 수행할 수 있습니다. 이러한 예측은 3D 포인트 클라우드 재구성 또는 Model Predictive Control (MPC) 계획과 같은 하류 작업에 활용될 수 있습니다.

대상 사용자

로봇공학, 컴퓨터 비전, AI 분야의 연구자 및 개발자에게 적합합니다. 거대하고 투명하지 않은 코드베이스의 복잡함 없이 동영상 월드 모델을 구현, 평가, 확장하고자 하는 분들께 추천합니다.

주요 특징

• 최소한의 디자인: NanoGPT를 영감으로 받아 과학적 투명성을 중시하는 깔끔한 코드베이스를 구현했습니다.
• 통합 파이프라인: 사용하기 쉬운 구성 오버라이드를 통해 학습 및 평가 워크플로우를 통합했습니다.
• 다양한 데이터셋 지원: DINO-WM, RT-1, CSGO 데이터셋의 즉시 사용 가능한 통합 기능을 제공합니다.
• 실용적 응용: 장기 예측 생성, 동영상 → 3D 매핑, CEM 기반 계획 기능을 내장하고 있습니다.