OpenBMB/MiniCPM-Robot

它解决了什么问题

MiniCPM-Robot 为机器人提供了设备端的 AI 大脑，用于处理现实世界的感知、决策和动作。它解决了对高效、低延迟模型的需求，这些模型能够在机器人硬件上直接执行复杂的操作和目标追踪，而无需依赖繁重的云计算。

它如何工作

该项目包含两个主要的模型系列：

• MiniCPM-RobotManip：一个参数量为 1.5B 的视觉-语言-动作（VLA）模型，用于通用机器人操作。它采用流式推理技术，在无需高计算成本重新计算历史帧的情况下，维持长达 1 分钟的视觉上下文记忆。同时，它还使用视觉标记压缩技术以降低延迟。
• MiniCPM-RobotTrack：一个参数量为 0.9B 的具身目标追踪策略模型。它利用质量驱动的自演化数据流水线和 DAgger（数据聚合）方法，在目标交叉和遮挡等困难场景中提升性能。该模型针对 Unitree Go2 机器人进行了端到端优化，集成了视觉捕获、编码和动作生成功能。

适用于谁

专为构建具身 AI 代理的机器人研究人员和开发者设计，特别是那些希望在 Unitree Go2 EDU 等硬件上进行设备端部署，或使用 LIBERO、CALVIN 和 Habitat-Sim 等模拟器的开发者。

主要亮点

• 高效操作：统一的 1.5B 通用策略模型，在多个基准测试中表现优于更大模型，同时保持低延迟（在 H100 上每决策步骤仅 120ms）。
• 设备端追踪：首个完全在设备端运行的具身目标追踪器（0.9B），可在 Unitree Go2 EDU 上以 5+ FPS 的速度运行。
• 流式上下文：支持高达 60 帧的历史记录，相比传统重新计算方法，显著降低了 TFLOPs 消耗。
• 端到端优化：从视觉捕获到命令执行的整个流程进行联合优化，实现机器人实时控制。