amazon-far/abc

해결하는 문제

로봇 공학에서 행동 클로닝을 위한 확장 가능한 프레임워크를 제공하여, 실제 및 시뮬레이션 로봇 경로의 대규모 오픈 데이터셋에서 복잡한 물리적 작업(예: 상자 안의 병 정리하기)을 모델이 학습할 수 있도록 합니다.

작동 방식

이 프로젝트는 ABC-DiT를 중심으로 한 훈련 파이프라인을 구현합니다. ABC-DiT는 시각 백본(DINOv3)과 텍스트 인코더(CLIP)를 사용하여 시각적 및 언어 입력을 처리합니다. 행동 예측에는 플로우 매칭을 사용하며, 시뮬레이션 데이터와 실제 세계 데이터의 혼합으로 훈련이 가능합니다. 또한, 훈련 중 데이터 로딩을 최적화하기 위해 원시 MCAP 데이터를 전용 형식(이진 상태-행동 파일 및 효율적인 MP4 비디오 스택)으로 변환하는 도구를 포함합니다.

대상 사용자

대규모 행동 클로닝을 사용하여 시각-언어-행동(VLA) 모델을 훈련하고, 시뮬레이션 및 실제 환경에서 평가하고자 하는 로봇 공학 연구자 및 엔지니어.

주요 특징

• 확장 가능한 훈련: 최적화된 처리량을 지원하며, 멀티 GPU(예: 8x H100/H200)에서 훈련 가능.
• 하이브리드 데이터 지원: 시뮬레이션 및 실제 세계 데이터 모두에서 훈련 가능하여 일반화 성능 향상.
• 효율적인 데이터 파이프라인: 원시 로봇 데이터를 고성능 형식으로 변환하는 변환 스크립트 포함, 더 빠른 훈련을 위한 최적화.
• 통합 평가 기능: Viser를 통한 시각화와 체계적인 성공률 로깅을 제공하는 시뮬레이션 평가 세트 포함.