OpenBMB/MiniCPM-Robot

What it solves

MiniCPM-Robotは、ロボットが現実世界の知覚、意思決定、およびアクションを処理するためのオンデバイスAIブレインを提供します。これは、重いクラウドコンピューティングに依存することなく、ロボットのハードウェア上で直接、複雑な操作やターゲット追跡を実行できる、効率的で低レイテンシなモデルの必要性に対処するものです。

How it works

このプロジェクトは、主に2つのモデルファミリーで構成されています：

• MiniCPM-RobotManip: 一般的なロボット操作のための1.5BパラメータのVision-Language-Action (VLA) モデルです。ストリーミング推論を使用して、過去のフレームを再計算する高い計算コストをかけることなく、視覚的コンテキストメモリ（最大1分間）を維持します。また、視覚的トークン圧縮を使用してレイテンシを低減します。
• MiniCPM-RobotTrack: 身体化されたターゲット追跡のための0.9Bパラメータのポリシーです。品質駆動型の自己進化データパイプラインとDAgger (Dataset Aggregation) を利用して、ターゲットの交差や遮蔽（オクルージョン）のような困難なシナリオでのパフォーマンスを向上させます。Unitree Go2ロボット上でのエンドツーエンドの実行に最適化されており、視覚的キャプチャ、エンコーディング、およびアクション生成を統合しています。

Who it’s for

これは、身体化されたAIエージェントを構築するロボティクス研究者や開発者、特にUnitree Go2 EDUのようなハードウェアへのオンデバイス展開をターゲットとしている、あるいはLIBERO、CALVIN、およびHabitat-Simのようなシミュレータを使用する人々を対象としています。

Highlights

• Efficient Manipulation: 統一された1.5Bの汎用ポリシーが、低レイテンシ（H100上で意思決定ステップごとに120ms）を維持しながら、いくつかのベンチマークでより大きなモデルを凌駕しています。
• On-Device Tracking: Unitree Go2 EDU上で5+ FPSで動作可能な、初の完全オンデバイス身体化ターゲットトラッカー（0.9B）です。
• Streaming Context: 従来の再計算と比較してTFLOPsを大幅に削減しながら、最大60フレームの履歴をサポートします。
• End-to-End Optimization: リアルタイムのロボット制御のために、視覚的キャプチャからコマンド実行までのパイプライン全体を共同で最適化しています。