dexmal/opendm

해결하는 문제

OpenDM은 오픈 월드 로봇 제어를 위해 설계된 Vision-Language-Action (VLA) 모델인 DM0.5를 위한 프레임워크와 모델 가중치를 제공합니다. 이는 개방형 지시 실행, 장기 작업 관리, 동적 외란 처리, 그리고 다양한 신체 구조(embodiment)를 가진 로봇 제어와 관련된 과제들을 해결합니다.

작동 방식

이 프로젝트는 네이티브 구현된 구체화(embodied) 모델링 접근 방식을 사용합니다. VLA 모델을 학습, 미세 조정(LoRA SFT 포함) 및 배포하기 위한 도구 모음을 제공합니다. 이 시스템은 다중 이미지 입력(예: 헤드 및 손목 카메라)을 지원하며, 로봇 관절과 그리퍼를 제어하기 위한 액션 청크를 출력합니다. 고성능 배포를 위해 TensorRT, Triton 및 PyTorch FlexAttention을 활용하여 추론을 가속화하는 '고속 백엔드'가 포함되어 있습니다.

대상 사용자

구체화된 AI(Embodied AI) 및 로봇 공학 분야에서 범용 로봇 제어 모델을 학습, 평가 및 배포해야 하는 연구자와 개발자를 위해 설계되었습니다.

주요 특징

• 높은 벤치마크 성능: RoboChallenge Table30 V2, RoboColiseum 및 RoboDojo-Sim 리더보드에서 상위권 기록.
• 다중 신체 구조 지원: AgileX COBOT Magic 및 DOS-W1을 포함한 다양한 로봇 플랫폼 제어 가능.
• 상세한 학습 파이프라인: 지도 미세 조정(SFT) 및 LoRA를 위한 포괄적인 가이드와 사용자 정의 로봇 데이터를 위한 데이터셋 등록 시스템 포함.
• 가속화된 추론: 실제 애플리케이션에서 지연 시간을 줄이기 위한 특수 고속 추론 백엔드 제공.