hzxie/DynamicVLA

해결하는 문제

DynamicVLA는 움직이거나 상태가 변화하는 객체를 조작(동적 객체 조작)할 수 있도록 하여, 정적 장면 조작의 한계를 넘어서는 것을 목표로 합니다.

작동 방식

이는 시각적 관찰과 언어 지시를 처리하여 로봇 행동을 출력하는 비전-언어-행동(VLA) 모델입니다. 이 프로젝트는 DOM(동적 객체 조작)이라는 전용 데이터셋과 고충실도 시뮬레이션 및 벤치마킹을 위한 Isaac Lab 통합을 포함한 완전한 훈련 및 평가 파이프라인을 제공합니다.

대상 독자

동적 환경을 처리해야 하는 구현 AI, 로봇 조작, VLA 모델을 연구하는 연구자와 개발자.

주요 특징

• DOM 데이터셋: 동적 객체 조작 훈련 및 벤치마킹을 위한 전용 데이터셋.
• 시뮬레이션 통합: 합성 데이터 생성 및 정책 평가를 위한 Isaac Lab 및 Isaac Sim 완전 지원.
• 유연한 행동 표현: 델타 행동(현재 상태 기준) 및 회전을 위한 오일러 각 지원.
• 분산 훈련: torchrun을 사용한 멀티 GPU 분산 훈련 스크립트 포함.