showlab/Show-Harness

Show‑Harness – VLM 기반 임베디드 에이전트

개요

오픈소스 하네스로, 비전-언어 모델(VLM)이 작은 토큰 기반 행동 어휘를 통해 로봇을 제어할 수 있게 합니다.
두 가지 작동 모드를 제공합니다:
1. 제로샷(Zero-shot) – 대형 폐쇄형 VLM(예: Gemini, GPT‑4‑V)을 직접 쿼리하여, 모델이 각 단계에서 행동 토큰을 즉석에서 결정합니다.
2. 파인튜닝(Fine-tuned) – 소형 오픈 VLM을 로봇 시연 데이터에 LoRA 적용하여, 각 단계에서 하나의 행동 토큰을 출력합니다.
여러 로봇 플랫폼(Franka, AgileX Piper, Isaac‑Lab, LIBERO) 및 시뮬레이터와 호환되며, 모두 동일한 프롬프트 세트와 행동 어휘를 사용합니다.

주요 구성 요소

구성 요소	역할
`core/`	VLM과 통신하고, 프롬프트를 구성하고, 로그를 기록하며, VLM 토큰을 선택된 로봇의 인터프리터에 매핑하는 메인 루프입니다.
`interpreters/`	토큰(예: `GRIP_OPEN`)을 실제 로봇 명령(임피던스 제어, 조인트 스트리밍 등)으로 변환하는 플랫폼별 코드입니다.
`gumi/`	시연 수집을 위한 가벼운 브라우저 UI입니다. 사용자가 키(WASD, 화살표)를 눌러 로봇을 조종하며, 각 단계는 (관찰, 행동) 쌍으로 저장되어 훈련에 사용됩니다.
`plugins/`	핵심 코드를 변경하지 않고 토글할 수 있는 선택적 "플러그인"(인식, 계획, 복구 등)입니다.
`train/`	GUMI 롤아웃을 데이터셋으로 변환하고, 🤗 Datasets에 등록하고, LLaMA‑Factory(LoRA 어댑터)를 사용하여 VLM을 파인튜닝하는 스크립트입니다.
`scripts/`	환경 설정, ROS/RealSense 통합, 로봇 캘리브레이션, vLLM으로 VLM 서빙, 시뮬레이터 평가 스크립트 등의 유틸리티입니다.
`configs/`	계층적 YAML 설정 – 기본값, 사이트별 로봇 설정, 선택적 오버라이드입니다.

시작 방법

환경 설정 – 하네스용 bash scripts/setup.sh base, vLLM 서버용 … serve, 시뮬레이터용 … libero <checkout>을 실행합니다.
데이터 수집 – 시뮬레이션(--sim) 또는 실제 하드웨어에서 GUMI UI(gumi/collect_rollouts_web.py)를 실행하고, 키보드로 로봇을 조종하면 시스템이 훈련 가능한 쌍을 기록합니다.
로봇 실행 – configs/site/*.yaml을 구성하고, configs/secrets.env에 API 키를 추가한 후, scripts/check_setup.py를 실행하고 scripts/run_real.py(제로샷) 또는 scripts/run_real_mvtoken.py(파인튜닝)를 실행합니다.
파인튜닝 – 🤗 Hub에서 공개된 LoRA 어댑터 중 하나를 다운로드하거나, train/ 파이프라인으로 직접 훈련합니다.

공개 자료

모델: Qwen‑3.5(0.8B, 2B, 4B, 9B) 및 Gemma‑4B용 LoRA 어댑터 5개와 시뮬레이션 전용 어댑터 1개. showlab/Show‑Harness‑VLMs에서 호스팅됩니다.
데이터셋: Franka/Piper의 실제 롤아웃과 RoboLab/ManiSkill의 시뮬레이션 데이터. showlab/Show‑Harness‑Data에서 제공됩니다.
논문 및 데모 – arXiv 사전 인쇄본(2609.10522) 및 VLM이 로봇을 조종하는 짧은 비디오.

중요성

단일 VLM 인터페이스로 여러 로봇 본체를 구동할 수 있음을 보여주며, 로봇별 정책 네트워크의 필요성을 제거합니다.
GUMI 수집기는 고가의 원격 조작 장비 없이 고품질의 토큰 수준 시연을 쉽게 생성할 수 있게 합니다.
플러그인 아키텍처는 연구자가 단일 부울 플래그로 인식/계획 모듈(예: 다중 뷰 안내, 하위 목표 계획)을 추가하거나 제거할 수 있게 하여 절제 연구를 용이하게 합니다.

일반적인 사용 사례

새로운 로봇 플랫폼에서 제로샷 VLM 제어를 테스트하려는 연구자.
로봇 시연을 수집하고 경량 VLM을 파인튜닝하는 빠른 파이프라인이 필요한 팀.
동일한 하네스에 연결되는 맞춤형 인식 또는 계획 플러그인을 개발하는 개발자.

인용

@article{chen2026show,
  title={Show‑harness: Just a VLM agent can play robots},
  author={Chen, Yanzhe and Bai, Zechen and Cao, Zhijun and Zeng, Wenzheng and Lin, Kevin Qinghong and Lin, Yiqi and Liang, Guoqiang and Ma, Kevin Yuchen and Huang, Qiming and Shou, Mike Zheng},
  journal={arXiv preprint arXiv:2609.10522},
  year={2026}
}

모든 세부 사항은 저장소의 README에서 직접 가져온 것이며, 추가 기능은 추론되지 않았습니다.

showlab/Show-Harness

Show‑Harness – VLM 기반 임베디드 에이전트

관련