Inspect Robots – 물리적 AI를 위한 평가 프레임워크

이것은 무엇인가

• 오픈소스 Python 라이브러리로, 로봇 벤치마크를 한 번 정의하면 모든 로봇 제어 정책(LLM 기반 에이전트, 비전-언어 모델, 스크립트된 스크립트 등)을 모든 호환 가능한 구현체(실제 팔, 시뮬레이션 로봇, 또는 목(mock) 세계)에서 실행할 수 있게 해줍니다.
• 센서 스트림, 정책 기록, 구성, 점수 등 모든 것을 기록하고 재생 가능한 로그로 저장합니다.
• Rerun 뷰어를 통한 실시간 시각화를 제공하며, 로봇이 움직이는 동안 카메라 이미지, 관절 궤적, 점수를 스트리밍할 수 있습니다.

핵심 개념

• 작업(Task) – 로봇이 해야 할 일에 대한 설명 (예: "포크를 접시에 놓으세요").
• 구현체(Embodiment) – 동작을 실행하는 로봇 또는 시뮬레이터. 구현체는 Python 엔트리 포인트를 통해 발견됩니다; 플러그인(예: inspect-robots-yam)을 설치하면 새 로봇이 나타납니다.
• 정책(Policy) – 의사 결정 구성 요소. 정책은 다음과 같을 수 있습니다:
  • 최첨단 LLM (inspect-robots-agent 경유),
  • XPolicyLab에서 제공하는 VLA (xpolicylab),
  • 코드-기반 정책 에이전트 (capx),
  • 간단한 스크립트 정책, 또는
  • 동작 계약을 따르는 모든 사용자 정의 클라이언트.
• EvalLog – 전체 구성, git 리비전, 메트릭, (선택적으로) 카메라 프레임을 포함하는 불변 JSON 레코드.
• Rerun – 선택적 시각화로 .rrd 파일을 기록하고 원격 뷰어로 스트리밍할 수 있습니다.

일반적인 워크플로우

1. 핵심 + 선택적 확장 설치

   uv venv && uv pip install "inspect-robots[rerun]"
   # 또는 numpy 전용 코어만 필요하면 `inspect-robots`
   

2. 로봇 플러그인 추가 (YAM 이매뉴얼 암 예시)

   uv pip install inspect-robots-yam
   inspect-robots setup   # 마법사가 ~/.config/inspect-robots/config.ini 생성
   

3. 필요한 정책 서버 시작 (예: molmoact2 정책용 MolmoAct2).
4. 작업 실행

   inspect-robots "place the fork on the plate"
   

   • 이 명령은 Rerun 뷰어를 시작하고, 데이터를 스트리밍하며, 로그 파일을 작성합니다.
5. 결과 검사

   inspect-robots view logs/          # 정적 HTML 인덱스
   inspect-robots inspect LOG.json   # 단일 로그를 예쁘게 출력
   inspect-robots video LOG.json     # 저장된 프레임을 MP4로 렌더링
   

6. 반복 – 내장된 summarize 명령을 사용하여 음성 피드백 추가, 실패 요약, 학습된 노트로 재시도할 수 있습니다.

지원되는 로봇 및 시뮬레이터 (퍼스트파티 플러그인 경유)

로봇 / 세계	구현체 이름	패키지	동작 공간
I2RT YAM 이매뉴얼 암	yam_arms	inspect-robots-yam	14-D 관절 위치
Franka FR3 / Panda	franka	inspect-robots-franka	8-D 관절 위치
AgiBot A2 Ultra	a2_arms	inspect-robots-agibot-a2	16-D 관절 위치
Unitree G1	g1_arms	inspect-robots-unitree-g1	16-D 관절 위치
SO-ARM 팔로워	so_arm	inspect-robots-so101	6-D 관절 위치
WidowX 250S	widowx	inspect-robots-widowx	7-D 말단 효과기 포즈
모든 ROS 호환 암	ros	inspect-robots-ros	구성 가능
Isaac Lab 시뮬레이션	isaacsim	inspect-robots-isaacsim	관절 위치
CubePick 목 세계 (하드웨어 없음)	cubepick	내장	2-D 델타 포즈

확장성

• 새 로봇은 구현체 엔트리 포인트와 (선택적으로) 일치하는 정책 클라이언트를 등록하는 Python 패키지를 게시하여 추가됩니다.
• 새 정책도 비슷하게 추가됩니다; 프레임워크는 동작 시작 전에 호환성(동작/관측 형태, 제어 속도 등)을 검증합니다.
• 선택적 확장(rerun, inspect-robots-agent, inspect-robots-capx, …)은 별도로 설치되어 핵심을 가볍게 유지합니다(NumPy 전용).

중요한 이유

• 실제 로봇 연구를 위한 단일하고 재현 가능한 평가 파이프라인을 제공하여 시뮬레이션 벤치마크와 물리적 실험 사이의 간극을 메웁니다.
• 감사 가능성을 보장합니다: 모든 실행은 오프라인에서 다시 점수를 매길 수 있는 자기 기술적 로그입니다.
• 최첨단 AI 정책(LLM 에이전트, 코드-기반 정책)을 기존 VLA와 함께 지원하여 동일한 하드웨어에서 새로운 모델을 쉽게 비교할 수 있습니다.
• 내장된 안전 가드레일(오류 분류, 동작 범위, 인간-인-더-루프 재설정)로 무인 로봇이 오작동하는 것을 방지합니다.

시작하기 리소스

• 빠른 시작 가이드: docs/guide/quickstart.md
• 리그 참조 (로봇 플러그인 작성 방법): docs/guide/rig-reference.md
• 개념 개요: docs/guide/concepts.md
• 전체 CLI 참조: docs/guide/cli.md

---

Inspect Robots는 현재 알파 단계입니다; API가 변경될 수 있으므로 의존하는 경우 릴리스된 버전을 고정하세요.