open-gigaai/giga-brain-0

GigaBrain‑0.7 – 신체화 기반 모델

무엇인가요 – GigaBrain‑0.7은 다양한 로봇 플랫폼을 제어하기 위해 설계된 대규모 시각-언어-행동 (VLA) 모델입니다. 시각적 이해, 언어 기반 지식, 로봇 고유의 행동 생성을 공동으로 학습하는 3계층 아키텍처를 따릅니다. 이 모델은 약 37,000시간의 다양한 신체화 데이터(실제 로봇 운행, 시뮬레이션, 에고센트릭 영상, 월드 모델 생성 궤적 등)로 사전 학습되었으며, 3.5B 파라미터 기반 버전과 여러 개의 파인튜닝된 변형 버전으로 제공됩니다.

왜 중요한가요 – 기존의 대부분의 VLA 시스템은 단일 로봇 유형 또는 비교적 작은 데이터셋에서 학습됩니다. GigaBrain‑0.7은 하나의 모델이 다양한 신체화(예: AgileX 코봇, Franka, 다지능 핸드 레이아웃, Maker H01 플랫폼)를 일반화할 수 있음을 보여주며, 새로운 작업에 대해 강력한 제로샷 성능을 유지합니다. 이 프로젝트는 완전한 학습 스택, 평가 벤치마크, 즉시 실행 가능한 배포 서버를 제공하여 오늘날까지 가장 포괄적인 오픈소스 신체화 AI 릴리스 중 하나입니다.

빠른 시작 개요

환경 설정 – 새 Conda 환경(파이썬 3.11)을 만들고, 고정된 종속성(giga-datasets, giga-train, giga-models)과 requirements-paligemma2.txt 스택을 설치합니다.
모델 다운로드 – README에 있는 Hugging Face 링크에서 3.5B 기반 체크포인트(또는 파인튜닝된 변형)를 다운로드합니다.
데이터 준비 – 로봇 로그를 LeRobot Parquet 형식으로 변환한 후, scripts/compute_norm_stats_fast.py를 실행하여 특정 로봇 유형용 정규화 통계를 생성합니다.
학습 – 제공된 두 가지 구성 파일 중 하나(gb07_pg2_pick_and_place_piper_30k.py는 AgileX PiPER용, gb07_pg2_push_buttons_h01_30k.py는 Maker H01용)를 선택하고 scripts/train.py를 실행합니다.
오프라인 평가 – scripts/inference/inference_gigabrain07_flow_rollout.py를 사용하여 저장된 LeRobot 에피소드에서 학습된 체크포인트를 실행하고 MSE/MAE 메트릭을 얻습니다.
배포 – 통합 인퍼런스 서버(inference_agilex_server_unified.py 또는 H01 서버 스크립트)를 시작하고, 카메라 이미지를 스트리밍하는 ROS 클라이언트를 연결하여 관절 공간 명령을 수신합니다.

핵심 구성 요소

구성 요소	역할
3계층 아키텍처	인식, 언어 기반 지식, 행동 생성을 위한 별도 모듈로, 공통 백본을 공유합니다.
신체화 ID	정수 코드(0–7)로 로봇 고유의 상태/행동 프로젝션을 선택; 새로운 로봇은 매핑을 확장하여 추가 가능합니다.
LeRobot 데이터 형식	다중 카메라, 관절 상태, 행동 스트림을 위한 표준화된 Parquet 스키마; 정규화 통계를 계산하는 스크립트를 제공합니다.
학습 스택	`giga-datasets` (데이터 로드), `giga-train` (학습 루프, 최적화), `giga-models` (Paligemma‑2 백본 기반 모델 정의).
벤치마크	VLM‑Benchmark, RoboColiseum, RoboTwin 2.0, EBench – 각각 독자적인 README와 평가 스크립트를 제공합니다.
배포 서버	Diffusers 호환 체크포인트로, 학습 시 변환을 로드하고 간단한 TCP/ROS 인터페이스를 통해 예측을 제공합니다.

벤치마크 및 평가

벤치마크	테스트 항목	실행 방법
VLM‑Benchmark	다양한 신체화 작업에 대한 다중 모달(시각-언어-행동) 평가.	`scripts/eval/VLM-Benchmark/README.md`를 따르세요.
RoboColiseum	학습 후 지시 따르기, 공간적 추론, 시뮬레이션된 아레나에서의 조작.	`configs/robocoliseum_posttrain_release/README.md`를 참조하세요.
RoboTwin 2.0	시뮬레이션 내 50개의 양손 작업, 사전 학습에서 새로운 조작 문제로의 전이를 측정.	`configs/robotwin_posttrain_release/eval_robotwin/README.md`를 따르세요.
EBench	일반 목적 조작(GenManip) 평가, 로컬 및 온라인 서버에서 모두 가능.	`configs/ebench_posttrain_release/eval_ebench/README.md`를 참조하세요.

라이선스 및 인용

라이선스: Apache 2.0 (허용성 높고 상업적 이용에 적합).
인용: 모델이나 기술 보고서를 인용할 때는 제공된 BibTeX 항목(arXiv 2608.15875)을 사용하세요.

누구에게 유용한가요?

로봇 공학 연구자 – 새로운 로봇에서 파인튜닝할 수 있는 대규모 사전 학습 VLA 모델이 필요한 사람.
산업 연구소 – ROS로 래핑할 수 있는 즉시 배포 가능한 인퍼런스 서버가 필요한 사람.
교육자 – 다중 신체화 기반 모델과 전체 학습/평가 파이프라인의 구체적인 예가 필요한 사람.

결론：GigaBrain‑0.7은 시각-언어-행동 로보틱스를 위한 데이터, 모델 가중치, 학습 코드, 벤치마크 스위트, 배포 도구를 일관되게 제공하는 진정한 엔드투엔드 오픈소스 신체화 AI 프로젝트입니다.