Mosi-AI/RoboICL

Embodied In-Context Learning for GPT-6 Astra

해결하는 문제

RoboICL은 값비싼 재학습이나 특수 로봇 제어 모델 없이도 로봇이 새로운 작업을 학습할 수 있도록 하는 문제를 해결합니다. 범용 시각-언어 모델이 소수의 데모나 자체 실행 기록만을 사용하여 즉석에서 작업에 적응함으로써 로봇을 제어할 수 있게 합니다.

작동 방식

이 프레임워크는 시각-언어 모델(구체적으로 GPT-6 Astra)을 로봇 시뮬레이터에 연결합니다. 두 가지 주요 컨텍스트 소스를 사용합니다: 데모 컨텍스트(기록된 로봇 궤적)와 상호작용 메모리(모델 자신의 과거 행동 및 피드백)입니다. 이는 관찰을 행동으로 매핑하는 공유 문법을 사용하여 모델에 제시됩니다. 시스템은 경계가 있는 메모리를 유지하여 중요한 과거 상호작용을 보존하는 동시에 즉각적인 수정을 위해 가장 최근 결과를 우선시합니다.

대상 사용자

이 프로젝트는 로봇 공학 및 체화된 AI(Embodied AI) 분야에서 대규모 멀티모달 모델을 사용한 로봇 제어를 실험하고자 하는 연구자와 개발자를 위한 것입니다. RoboDojo 벤치마크 및 Isaac Sim 환경을 사용하는 사용자를 위해 설계되었습니다.

주요 특징

  • 매개변수 업데이트 없는 제로샷 및 원샷 학습 기능.
  • 일관된 관찰-행동 루프를 위한 공유 상호작용 문법 사용.
  • 장기 컨텍스트와 즉각적인 피드백의 균형을 맞추기 위한 경계 있는 메모리 관리.
  • 듀얼 암 데카르트 좌표 행동을 지원하는 RoboDojo 벤치마크용 전체 러너 포함.
  • 복잡한 종속성 요구 사항을 처리하기 위해 시뮬레이션과 정책 실행을 위한 별도의 Python 환경 조정.

관련

  • 프로젝트
    syswonder/robonix

    Robonix는 구현된 AI(Embodied AI)를 위한 오픈 소스 에이전트 운영 체제입니다. LLM/VLM 모델을 사용하여 자연어 명령을 로봇 작업 설명 언어(RTDL) 프로그램으로 변환하고, 이를 실제 또는 시뮬레이션된 다양한 로봇에서 실행합니다. 이 시스템은 버전이 지정된 계약을 통해 등록되는 계층적 추상화(프리미티브, 서비스, 스킬, 작업)를 기반으로 구축되어 하드웨어와 소프트웨어의 분리 및 이기종 플랫폼 간의 재사용을 가능하게 합니다. README는 Rust, uv, Docker 설치, `rbnx` CLI 빌드, Webots 시뮬레이터 실행, OpenAI 호환 VLM 엔드포인트를 사용한 시스템 시작을 포함하는 빠른 시작 가이드를 제공합니다. 풍부한 패키지 카탈로그에는 지원되는 수십 개의 로봇 본체(실제 및 시뮬레이션)가 나열되어 있습니다. 이 프로젝트는 Mulan PSL-2.0 라이선스에 따라 배포됩니다.

  • 프로젝트
    OpenBMB/DeepThinkVLA

    DeepThinkVLA는 로봇 행동을 생성하기 전에 명시적인 사고 흐름(Chain-of-Thought) 단계를 삽입하는 시각-언어-행동 모델입니다. 자가회귀적 추론 → 병렬 동시 행동 생성을 결합한 하이브리드 디코더를 사용하며, 새로 구축한 몸체화된 CoT 데이터셋으로 훈련한 후 성과 중심 강화학습으로 보완합니다. 이 모델은 LIBERO 벤치마크에서 평균 97 %의 성공률을 달성하고, 순수 자가회귀 기반 대비 0.175×의 지연만을 가지며, 더 새로운 LIBERO Plus 스위트로 제로샷 전이가 가능합니다.

  • 프로젝트
    open-gigaai/giga-brain-0

    GigaBrain‑0.7은 로봇을 위한 오픈소스 대규모 시각-언어-행동 모델입니다. 37,000시간의 다양한 신체화 데이터로 사전 학습되었으며, 8종의 로봇 신체화를 지원하며, 학습 스크립트, 벤치마크 스위트(VLM‑Benchmark, RoboColiseum, RoboTwin 2.0, EBench), ROS와 통합 가능한 즉시 실행 가능한 인퍼런스 서버를 포함합니다.

  • 프로젝트
    2toinf/X-VLA

    X‑VLA는 비전, 언어, 로봇 고유수용감각을 통합하여 다양한 로봇 유형에 걸쳐 행동을 예측하는 트랜스포머 모델입니다. 학습 가능한 소프트 프롬프트를 사용하여 각 형태에 맞게 공유 백본을 특화하고, REST 추론 서버로 실행되며, Hugging Face에 많은 사전 훈련된 체크포인트(기본 및 로봇별)를 제공합니다. 저장소에는 설치 스크립트, 서버/클라이언트 코드, 사용자 정의 로봇 데이터셋 미세 조정 지침이 포함되어 있습니다.

  • 프로젝트
    Robbyant/lingbot-vla-v2

    LingBot‑VLA 2.0은 로봇을 위한 오픈소스 Vision‑Language‑Action 파운데이션 모델입니다. 다양한 로봇 형태를 55차원 동작 벡터로 통합하고, MoE 레이어와 듀얼 쿼리 증류(깊이 + 미래 비디오)를 사용하여 예측 역학을 학습하며, 약 6만 시간의 로봇 및 에고센트릭 비디오 데이터로 학습되었습니다. 이 저장소는 conda 기반 설치, 6B 파라미터 체크포인트 다운로드 스크립트, 데이터 준비 도구, 사용자 정의 데이터셋에 대한 사후 학습, RoboTwin 벤치마크 및 실제 로봇에서의 평가 도구를 제공합니다. 보고된 결과에 따르면 양팔 및 이동 조작 작업에서 1.0 버전 대비 눈에 띄는 성능 향상을 보입니다.