Qwen-RobotManip: 정렬이 로봇 조작 기반 모델의 규모를 열어준다

Qwen-RobotManip은 일반화 가능한 Vision-Language-Action (VLA) 기반 모델로, 로봇 조작 데이터를 규모 확대하는 것이 통합된 정렬 프레임워크와 결합될 때만 효과적임을 보여줍니다. 서로 다른 로봇 구현체, 센서, 작업 간의 표현을 정렬함으로써, 38,100시간 이상의 오픈소스 및 합성 데이터를 활용해 새로운 장면, 보지 못한 명령, 그리고 크로스-임베디엄 전이에서 뛰어난 일반화를 달성합니다.

통합된 크로스-임베디엄 정렬 프레임워크

Qwen-RobotManip은 대규모 다중 소스 학습 시 발생하는 상충 신호 문제를 해결하기 위해 표현, 움직임, 행동의 3차원 정렬을 도입합니다.

정규 상태-행동 표현

모든 로봇 상태와 행동은 통합된 80차원 벡터로 매핑됩니다. 이 벡터는 단일 팔, 듀얼 팔, 정교한 손, 모바일 베이스 구성을 모두 포괄합니다. 서로 다른 구현체 간의 충돌을 방지하기 위해 차원별 이진 마스크를 적용해 해당 로봇에 관련된 슬롯에만 그래디언트가 흐르도록 합니다.

카메라 프레임 델타 포즈

시각적으로 유사한 움직임을 서로 다른 로봇 플랫폼 간에 수치적으로 가깝게 만들기 위해, 엔드 이펙터 행동을 로봇 베이스 프레임이 아닌 카메라 좌표계에서의 델타로 표현합니다. 모델은 교차‑어텐션 레이어에서 카메라 외부 파라미터를 위한 Camera Positional Encoding (CaPE)을 활용하고, 내부 파라미터를 시각 토큰에 인코딩해 시야각 인식을 제공합니다.

인‑컨텍스트 정책 적응

모델은 구조화된 구현체 프롬프트(로봇 플랫폼, 실행 속도, FPS 지정)와 과거 관찰‑행동 청크를 함께 사용합니다. 이를 통해 Qwen-RobotManip은 실행 중에 정책을 즉시 다른 구현체와 행동 패턴에 맞게 조정할 수 있습니다. 학습 시에는 행동 복사 단축을 방지하기 위해 확률적 컨텍스트 샘플링 전략을 적용합니다.

대규모 인간‑대‑로봇 데이터 합성

로봇 조작 데이터가 부족한 상황에서 Qwen-RobotManip은 인간의 1인칭 조작 영상을 로봇 시연으로 변환하는 합성 파이프라인을 활용합니다.

  • 파이프라인: 시스템은 1,933시간 분량의 1인칭 인간 영상을 15가지 서로 다른 구현체에 걸친 24,808시간 분량의 로봇 시연으로 변환합니다. 이는 행동 재목표화, 손 제거 및 인페인팅, 시뮬레이션 렌더링, 깊이‑가이드 합성을 통해 이루어집니다.
  • 전체 코퍼스: 최종 사전학습 코퍼스는 약 38,100시간으로, 로봇 데이터(11,420h), 1인칭 인간 데이터(1,933h), 합성된 인간‑대‑로봇 데이터(~24,808h)로 구성됩니다.
  • 큐레이션: 다단계 파이프라인은 5단계 상태‑행동 필터링(노이즈 행동 제거 및 운동학 일관성 검증)과 3가지 교차‑모달 검사를 통해 언어 명령이 영상 내용과 일치하고 시각 관찰이 로봇 상태와 일치하는지를 검증해 품질을 보장합니다.

모델 아키텍처 및 학습

Qwen-RobotManip은 Qwen3.5-4B 비전‑언어 백본에 흐름‑매칭 Diffusion Transformer (DiT) 액션 헤드를 결합합니다.

학습은 두 주요 단계로 진행됩니다:

  1. 사전학습: VLA 스트림(로봇 조작 데이터)과 VLM 스트림(비전‑언어 이해 데이터)을 9:1 비율로 결합하는 듀얼‑스트림 공동 학습 방식을 사용합니다.
  2. 후학습: 모든 시연 데이터를 활용해 일반화 SFT(지도 미세조정)를 수행하고, VL 및 VLA 데이터를 공동 학습해 OOD 명령 수행 능력을 향상시킵니다.

분포 외(OOD) 일반화 성능

Qwen-RobotManip은 OOD 벤치마크를 성공의 주요 지표로 삼으며, 분포 내(IID) 점수는 패턴 매칭으로 쉽게 달성될 수 있어 진정한 일반화와는 차이가 있다고 주장합니다.

시뮬레이션 벤치마크

  • LIBERO-Plus: Qwen-RobotManip-Context는 전체 성공률 91.4%를 기록해 $ \pi_{0.5}$(84.4%)보다 크게 앞섭니다. 특히 카메라와 로봇 교란 상황에 강합니다.
  • RoboTwin-C2R Hard: "Hard" 환경 무작위화에서 69.4% 성공률을 달성했으며, 이는 $ \pi_{0.5}$보다 21.5% 높은 수치입니다.
  • RoboCasa365: "Composite-Unseen" 과제(OOD 장면에서의 장기 과제)에서 14.9% 성공률을 기록, 다음 최고 모델(5.4%)의 거의 3배에 달합니다.
  • EBench: 전체 성공률 45.6%로 $ \pi_{0.5}$(27.1%) 및 기타 베이스라인을 능가합니다.
  • RoboTwin-IF: 보지 못한 템플릿을 이용한 명령 수행에서 평균 성공률 72.2%를 달성, $ \pi_{0.5}$보다 22.6 포인트 앞섭니다.
  • RoboTwin-XE: 제로샷 크로스‑임베디엄 전이(AgileX ALOHA에서 학습, 미지의 로봇에서 테스트)에서 카메라‑프레임 EEF 표현 덕분에 23.9% 성공률을 기록, $ \pi_{0.5}$(eef)보다 3.2배 높습니다.

실제 환경 평가

  • 새로운 장면 및 명령: 도메인 내 성공률 88.6%, OOD 성공률 87.5%를 기록했으며, $ \pi_{0.5}$의 OOD 성공률 37.5%와 큰 차이를 보입니다.
  • Few‑Shot 적응: 5개 과제에 대해 130개의 시연만으로 미세조정했을 때, Qwen-RobotManip은 5개 중 4개 과제에서 베이스라인을 앞섰습니다.
  • 크로스‑임베디엄 스킬 전이: CobotMagic 및 ARX 데이터로 미세조정된 정책이 새로운 ARX 과제에서 55.0% 성공률을 달성했으며, 통합 프레임워크가 없는 대조군보다 4배 높은 성과를 보였습니다.
  • RoboChallenge Table30 v1: 일반화 트랙에서 45% 성공률로 1위를 차지했으며, 3위 입상자보다 20%p 앞섰습니다.

규모와 복구에 관한 주요 발견

  • 정렬은 전제 조건: 연구 결과, 통합된 크로스‑임베디엄 표현을 가진 모델만이 깨끗한 로그‑선형 데이터 스케일링을 보였습니다. 정렬이 없으면 데이터 추가가 불규칙하거나 평탄한 스케일링 곡선을 만들었습니다.
  • 양손 협동: 양손 협동 과제에서 40% 성공률을 달성했으며, 이는 $ \pi_{0.5}$(21.2%)보다 크게 앞섰습니다. "감자 튀김을 접시에 붓기" 과제에서 유일하게 성공(30%)한 모델이기도 합니다.
  • 자발적 복구: 모델은 대규모 사전학습을 통해 오류 복구(예: 미끄러진 그립을 자동으로 재시도) 행동을 스스로 학습했으며, 이는 명시적 프로그래밍이 아닌 emergent 현상으로 나타났습니다.

Sources