roboterax/video-prediction-policy-2

해결하는 문제

VPP2는 비디오 예측과 행동 생성을 결합하여 로봇이 환경을 더 잘 이해하고 상호작용할 수 있는 필요성을 해결합니다. 로봇이 행동을 취하기 전에 미래의 시각적 상태를 "예측"할 수 있게 하여, 시각적 계획과 기억이 필요한 복잡한 작업에서 성능을 향상시킵니다.

작동 방식

이 시스템은 3단계 파이프라인을 사용합니다:

1. 이벤트 수준 비디오 사전 학습으로 시각적 역학을 학습합니다.
2. 시각적 계획은 후속 학습과 증류를 통해 모델이 결과를 예측하는 방식을 개선합니다.
3. 행동 학습은 혼합 트랜스포머(MoT) 아키텍처를 사용하여 시각적 예측을 구체적인 로봇 움직임으로 변환합니다.

기억이 필요한 작업의 경우, 모델은 입력에 과거 프레임을 포함할 수 있어 과거 사건을 기반으로 결정을 내릴 수 있습니다.

대상 사용자

이 프로젝트는 로봇 학습, 시각적 계획 및 자율 에이전트를 연구하는 연구자와 개발자를 위해 설계되었습니다. 특히 RoboDojo 및 LIBERO와 같은 벤치마크를 사용하며 시각적 예측과 물리적 행동 사이의 격차를 메우는 정책을 훈련하고 평가할 프레임워크가 필요한 사람들에게 유용합니다.

주요 특징

• RoboDojo-Sim 리더보드에서 최첨단 성능.
• 단일 이미지와 텍스트 지시로부터 제로샷 비디오 예측 지원.
• 비디오 생성 및 정책 평가를 위한 사전 학습된 모델 가중치 포함.
• RoboDojo 및 LIBERO 벤치마크를 위한 모듈식 훈련 및 평가 워크플로우 제공.