OpenWAM-Official/OpenWAM

해결하는 문제

OpenWAM은 모델 아키텍처, 표현, 훈련 전략과 같은 설계 선택이 종종 밀접하게 결합되어 비교하기 어려운 World-Action Models(WAM) 구축의 과제를 해결합니다. 모듈식 연구 스택을 제공하여 이러한 결합된 결정을 상호 교환 가능한 구성 요소로 전환함으로써 연구자들이 각 부분을 체계적으로 분리하고 테스트하며 개선할 수 있게 합니다. 또한 5억 프레임 이상의 자기중심적 인간 및 로봇 데이터로 훈련된 개방형 사전 훈련 모델(OpenWAM-alpha)을 제공하여 다른 사람들이 처음부터 훈련할 필요가 없게 합니다.

작동 방식

OpenWAM은 세 가지 주요 부분으로 구성됩니다:

• OpenWAM-Infra: 모델, 표현, 훈련, 추론, 배포 및 평가 선택을 구성하고 비교하기 위한 모듈식 인프라. 사용자는 Hydra YAML 구성을 통해 아키텍처(단일, 이중 또는 삼중 시스템) 및 백본(비디오, 시각, 언어 모델) 메뉴에서 선택합니다.
• OpenWAM-Study: 세계 지식 상속, 세계 및 행동 학습 결합, 도메인 간 확장에 대한 실용적인 원칙을 도출하는 통제된 실험.
• OpenWAM-alpha: 이러한 원칙을 적용한 개방형 사전 훈련 WAM으로, 5억 1,850만 프레임(약 6,400시간)의 자기중심적 인간 및 로봇 데이터로 훈련되었습니다.

리포지토리에는 자산(비디오 백본, 벤치마크 데이터, VLM 백본 등) 다운로드, 정책 훈련 또는 미세 조정, 추론을 위한 WebSocket 서버로 배포하는 스크립트가 포함되어 있습니다. 많은 벤치마크(RoboTwin, LIBERO, LIBERO-plus, RoboCasa365, VLABench 등)를 지원하며 XPolicyLab과 통합됩니다.

대상 사용자

세계 행동 모델, 로봇 정책 또는 비디오 기반 AI 에이전트를 연구하는 연구자와 개발자로서 모델을 사전 훈련, 미세 조정 및 평가할 수 있는 유연하고 확장 가능한 플랫폼을 원하는 사람들을 대상으로 합니다. 또한 사전 훈련된 기반 모델을 사용하여 특정 작업에 미세 조정하려는 사람들이나 이 분야의 개방형 연구 노력에 기여하려는 사람들에게도 유용합니다.

주요 특징

• 모듈식 인프라: 구성 파일을 통해 모델, 표현, 훈련 및 배포 구성 요소를 쉽게 교체할 수 있습니다.
• 통제된 연구: 세계 행동 학습을 위한 설계 원칙을 도출하는 내장 실험.
• 개방형 사전 훈련 모델: OpenWAM-alpha는 5억 1,850만 프레임의 인간 및 로봇 데이터로 훈련되었습니다.
• 다양한 아키텍처: 단일, 이중 및 삼중 시스템 설계를 지원하며 공동 자기 주의 또는 교차 주의와 같은 변형이 있습니다.
• 다양한 백본: Wan2.2, Cosmos, Qwen3-VL, DINOv3 및 기타 비디오/시각/VLM 백본과 호환됩니다.
• 광범위한 벤치마크 지원: 8개 이상의 평가 벤치마크와 XPolicyLab 통합을 포함합니다.
• 공개 데이터셋: 정리된 로봇 데이터셋(AgiBotWorld-Beta, RoboCOIN, InternData-A1, DROID)이 HuggingFace에서 제공됩니다.
• 오픈 소스: Apache 2.0 라이선스, 프로젝트 페이지, 논문 및 커뮤니티 채널 제공.