open-gigaai/giga-brain-0

GigaBrain‑0.7 – 一种具身基础模型

是什么 – GigaBrain‑0.7 是一个大规模的 视觉-语言-动作（VLA）模型，旨在控制多种不同的机器人平台。它采用三系统架构，联合学习视觉理解、语言定位和机器人特定动作生成。该模型在 约 37,000 小时 的异构具身数据（真实机器人运行、仿真、第一人称视频、世界模型生成轨迹等）上进行了预训练，并以 3.5B 参数的基础版本及多个微调变体发布。

为何重要 – 大多数现有 VLA 系统仅在单一机器人类型或相对较小的数据集上训练。GigaBrain‑0.7 表明，单一模型可以 跨多种具身形态泛化（例如 AgileX 机械臂、Franka、灵巧手装置、Maker H01 平台），同时在新任务上保持强大的零样本性能。该项目还提供了完整的训练栈、评估基准和即用型部署服务器，使其成为迄今为止最完整的开源具身 AI 发布之一。

快速入门概览

设置环境 – 创建一个全新的 Conda 环境（Python 3.11），安装固定依赖项（giga-datasets、giga-train、giga-models）以及 requirements-paligemma2.txt 依赖栈。
下载模型 – 从 README 中的 Hugging Face 链接获取 3.5B 基础检查点（或微调变体）。
准备数据 – 将你的机器人日志转换为 LeRobot Parquet 格式，然后运行 scripts/compute_norm_stats_fast.py 以生成特定机器人类型的归一化统计信息。
训练 – 选择两个提供的配置文件之一（gb07_pg2_pick_and_place_piper_30k.py 用于 AgileX PiPER，gb07_pg2_push_buttons_h01_30k.py 用于 Maker H01），并启动 scripts/train.py。
离线评估 – 使用 scripts/inference/inference_gigabrain07_flow_rollout.py 在保存的 LeRobot 任务上运行训练好的检查点，获取 MSE/MAE 指标。
部署 – 启动统一推理服务器（inference_agilex_server_unified.py 或 H01 服务器脚本），并连接一个 ROS 客户端，该客户端可流式传输摄像头图像并接收关节空间命令。

核心组件

组件	作用
三系统架构	分离的感知、语言定位和动作生成模块，共享一个共同的骨干网络。
具身 ID	整数编码（0–7），用于选择机器人特定的状态/动作投影；可通过扩展映射添加新机器人。
LeRobot 数据格式	多摄像头、关节状态和动作流的标准化 Parquet 模式；仓库提供计算归一化统计的脚本。
训练栈	`giga-datasets`（数据加载）、`giga-train`（训练循环、优化器）、`giga-models`（基于 Paligemma‑2 骨干构建的模型定义）。
基准测试	VLM‑Benchmark、RoboColiseum、RoboTwin 2.0、EBench – 每个都有独立的 README 和评估脚本。
部署服务器	与 Diffusers 兼容的检查点，加载训练时的变换，并通过简单的 TCP/ROS 接口提供预测。

基准测试与评估

基准测试	测试内容	如何运行
VLM‑Benchmark	跨一系列具身任务的多模态（视觉-语言-动作）评估。	参照 `scripts/eval/VLM-Benchmark/README.md`。
RoboColiseum	训练后指令跟随、空间推理和模拟竞技场中的操作。	参见 `configs/robocoliseum_posttrain_release/README.md`。
RoboTwin 2.0	模拟环境中的 50 个双臂任务，衡量从预训练到新操作问题的迁移能力。	参照 `configs/robotwin_posttrain_release/eval_robotwin/README.md`。
EBench	通用操作（GenManip）评估，支持本地和在线服务器运行。	参见 `configs/ebench_posttrain_release/eval_ebench/README.md`。

许可与引用

许可证：Apache 2.0（宽松，适合商业用途）。
引用：引用该模型或技术报告时，请使用提供的 BibTeX 条目（arXiv 2608.15875）。

谁会用到这个？

机器人研究人员：希望在新机器人上微调大规模预训练 VLA 模型的人。
工业实验室：需要即插即用的推理服务器并可封装进 ROS 的人。
教育工作者：需要多具身基础模型及其完整训练/评估流程具体示例的人。

总结：GigaBrain‑0.7 是一个真正的端到端开源具身 AI 项目，提供数据、模型权重、训练代码、基准测试套件和部署工具，用于视觉-语言-动作机器人技术。