Gemini Robotics 1.5 と Gemini Robotics-ER 1.5 のリリース

Google DeepMind は、AI エージェントをデジタル環境から物理世界へ移行させることを目的とした、2 つの専門モデルである Gemini Robotics 1.5 と Gemini Robotics-ER 1.5 をリリースしました。認知負荷を高レベルの計画と低レベルのモーター実行に分割することで、これらのモデルはロボットが知覚し、計画し、行動して複雑なマルチステップタスクをより高い透明性と汎化性で解決できるようにします。

エージェントフレームワーク：オーケストレーションと実行

Google DeepMind は、ローカルのリサイクルガイドラインに基づいて物体を分類するなど、実世界タスクの複雑さに対処するために、2 つのモデルからなるエージェントフレームワークを活用しています。

Gemini Robotics-ER 1.5（具現化推論）

Gemini Robotics-ER 1.5 はシステムの「高レベル脳」として機能します。具現化推論に最適化されたビジョン‑言語モデル（VLM）であり、ロボットの全体的な活動をオーケストレーションします。その主な機能は次のとおりです：

  • Planning and Decision Making: ミッションを完了するための詳細なマルチステップ計画を作成する。
  • Tool Integration: Google Search などのデジタルツールや、サードパーティのユーザー定義関数をネイティブに呼び出し、必要な情報を取得する。
  • Spatial Understanding: ポインティング、画像質問応答、ビデオ質問応答など、空間理解ベンチマーク全般で最先端の性能を達成する。
  • Monitoring: タスク全体にわたって自身の成功と進捗を推定する。

Gemini Robotics 1.5（ビジョン・言語・アクション）

Gemini Robotics 1.5 はビジョン‑言語‑アクション（VLA）モデルで、ER モデルが提供する自然言語指示を直接的なモーターコマンドに変換します。従来の VLA モデルが単に計画を動きに変換するだけであるのに対し、Gemini Robotics 1.5 は「行動前に考える」ことで、自然言語で内部的な推論と分析のシーケンスを生成します。これによりロボットは次のことが可能になります：

  • Deconstruct Complex Tasks: 長いタスクをよりシンプルで短いセグメントに分割し、実行の信頼性を向上させる。
  • Increase Transparency: 思考プロセスを自然言語で説明し、意思決定プロセスをユーザーに可視化する。
  • Improve Robustness: 新しいタスクへの汎化を高め、環境変化に適応する。

クロスエンボディメント学習と汎化

Gemini Robotics 1.5 は、形状・サイズ・自由度が異なるロボット間でスキルを転送する課題に取り組みます。このモデルはエンボディメント間で学習できる能力を示しており、あるロボットで学習した動作を別のロボットに転送でき、各ハードウェア構成ごとにモデルを特化させる必要がありません。

Google DeepMind は、いくつかのプラットフォームでこの能力を確認しました。ALOHA 2 ロボットで訓練されたタスクは、Apptronik Apollo ヒューマノイドロボットや二腕 Franka ロボットでも成功裏に実行され、逆も同様です。

パフォーマンスベンチマークと安全性

空間推論ベンチマーク

Gemini Robotics-ER 1.5 は、15 の学術ベンチマークで評価され、最先端の総合パフォーマンスを達成しました。これらのベンチマークには以下が含まれます：

  • Embodied Reasoning Question Answering (ERQA)
  • Point-Bench
  • RefSpatial, RoboSpatial-Pointing, Where2Place, BLINK, CV-Bench, EmbSpatial, MindCube, RoboSpatial-VQA, SAT, Cosmos-Reason1, Min Video Pairs, OpenEQA, and VSI-Bench.

セマンティック安全性とASIMOVベンチマーク

人間中心の環境での責任ある展開を確保するため、Google DeepMind はセマンティック安全性を評価するデータセットの集合である ASIMOV benchmark を更新しました。Gemini Robotics-ER 1.5 はこのベンチマークで最先端の性能を示しています。

安全性は包括的なアプローチで実装されています：

  • High-level reasoning: 行動する前に安全制約を考慮します。
  • Policy alignment: 対話は Gemini Safety Policies と整合しています。
  • Low-level triggers: 必要に応じて、衝突回避などのオンボード安全サブシステムをトリガーできます。

利用可能性

  • Gemini Robotics-ER 1.5: Google AI Studio の Gemini API を通じて開発者に提供されています。
  • Gemini Robotics 1.5: 現在、選択されたパートナーに提供されています。

Sources