OpenBMB/MiniCPM-Robot

它解決的問題

MiniCPM-Robot 為機器人提供設備端的 AI 大腦，以處理現實世界中的感知、決策與行動。它解決了對高效、低延遲模型的需求，這些模型能直接在機器人硬體上執行複雜的操作與目標追蹤，無需依賴繁重的雲端運算。

如何運作

此專案包含兩個主要的模型家族：

• MiniCPM-RobotManip：一個 1.5B 參數的視覺-語言-行動（VLA）模型，適用於通用機器人操作。它使用串流推理技術，以維持視覺上下文記憶（最長達 1 分鐘），且不會產生重算歷史畫格的高計算成本。同時也採用視覺 token 壓縮技術來降低延遲。
• MiniCPM-RobotTrack：一個 0.9B 參數的具身目標追蹤策略。它利用品質驅動的自我演進資料流程與 DAgger（資料集聚合）技術，提升在目標交叉與遮擋等困難情境下的表現。該模型針對 Unitree Go2 機器人進行端到端優化，整合了視覺捕捉、編碼與行動生成。

適用對象

專為致力於打造具身 AI 代理的機器人研究人員與開發者設計，特別是那些目標在 Unitree Go2 EDU 等硬體上進行設備端部署，或使用 LIBERO、CALVIN 和 Habitat-Sim 等模擬器的開發者。

主要特色

• 高效操作：統一的 1.5B 通用策略，在多項基準測試中表現優於更大模型，同時保持低延遲（在 H100 上每決策步驟僅 120ms）。
• 設備端追蹤：首個完全在設備端運行的具身目標追蹤器（0.9B），可在 Unitree Go2 EDU 上以 5+ FPS 的速度運行。
• 串流上下文：支援最多 60 幀的歷史記憶，與傳統重算方式相比，TFLOPs 显著降低。
• 端到端優化：從視覺捕捉到指令執行的整個流程進行聯合優化，實現即時機器人控制。