amazon-far/abc

해결 과제

ABC는 행동 복제를 위한 확장 가능한 프레임워크를 제공하여 로봇이 오픈 데이터로부터 복잡한 작업을 학습할 수 있도록 합니다. 이는 다양한 작업과 환경에서 일반화할 수 있는 강력한 정책을 학습하는 과제를 해결하며, 모델 아키텍처와 학습, 평가, 실제 배포에 필요한 도구를 모두 제공합니다.

작동 방식

이 프로젝트는 두 가지 주요 모델 아키텍처를 구현합니다.

• ABC-DiT: 비전 백본(기본값 DINOv3 또는 CLIP)을 사용하여 시각적 입력을 처리하고 로봇 동작을 생성하는 Diffusion Transformer (DiT) 정책입니다.
• ABC-VLA: Gemma 3 4B의 확산 전용 포트를 기반으로 하는 Vision-Language-Action (VLA) 모델로, 시각 처리에 SigLIP을, 동작 생성에 DiT 헤드를 활용합니다.

이 시스템에는 작업 평가를 위한 독립형 MuJoCo 시뮬레이터, MCAP 파일을 처리하기 위한 데이터 변환 파이프라인, 실제 로봇 추론 및 원격 조작을 위한 배포 스택이 포함되어 있습니다.

대상 사용자

대규모 데이터셋을 사용하여 행동 복제 정책을 학습하고 배포해야 하는 로봇 공학 연구원 및 엔지니어, 특히 Diffusion Transformers 및 VLA와 같은 고용량 모델에 관심이 있는 분들에게 적합합니다.

주요 특징

• 이중 아키텍처 지원: 특화된 DiT 정책과 Gemma 3 기반의 대규모 VLA 모델을 모두 제공합니다.
• 통합 시뮬레이션: 작업 카탈로그와 무작위화 도구를 갖춘 포괄적인 MuJoCo 시뮬레이터가 포함되어 있어 엄격한 평가가 가능합니다.
• 실제 로봇 준비 완료: RTC, 원격 조작, 물리적 하드웨어를 위한 DAgger 체크포인트를 포함한 전체 배포 스택을 제공합니다.
• 오픈 데이터 파이프라인: ABC-130k 데이터셋을 지원하며, 원시 데이터를 학습 가능한 형식으로 변환하는 유틸리티를 제공합니다.