Gemini Robotics-ER 1.6 リリースノート / 新機能

Gemini Robotics-ER 1.6 リリースノート / 新機能

Google DeepMind は、ロボットがデジタルインテリジェンスと物理的な行動を橋渡しする能力である「具現化推論」を向上させることを目的とした、推論優先モデル Gemini Robotics-ER 1.6 を発表しました。このアップデートにより、空間推論、マルチビュー理解、タスク成功検出が大幅に強化され、物理エージェントの自律性がさらに高まります。

高レベル推論と統合

Gemini Robotics-ER 1.6 はロボット向けの高レベル推論エンジンとして機能します。以下のようなさまざまなツールをネイティブに呼び出すことで、複雑なタスクを実行できます。

  • Google Search: 外部情報を取得するため。
  • Vision-Language-Action (VLA) models: 推論を物理的な動きに変換するため。
  • サードパーティのユーザー定義関数: カスタムロボット統合のため。

このモデルは、Gemini Robotics-ER 1.5 および Gemini 3.0 Flash と比較して、特に指差し、カウント、成功検出において大幅な性能向上を示しています。

指差しによる空間推論

指差しは空間推論の基礎的な機能として使用され、モデルがいくつかの重要なロボット機能を実行できるようにします。

  • Precision Object Detection and Counting: シーン内の特定のアイテムを識別し、数えること。
  • Relational Logic: 「from-to」関係（例：オブジェクトを特定の位置に移動させる）を定義し、セット内で最小のアイテムを特定するなどの比較を行うこと。
  • Motion Reasoning: 軌道をマッピングし、最適な把持点を特定すること。
  • Constraint Compliance: 「青いカップに入るほど小さいすべてのオブジェクトを指差す」などのプロンプトを通じて推論すること。

Gemini Robotics-ER 1.6 は、ポイントを中間ステップとして使用し、数学的演算を行うことでメートリック推定を改善し、アイテムのカウント精度を向上させます。比較テストでは、画像に存在しないアイテムの幻覚を回避し、正しいツール数を特定する点で Gemini Robotics-ER 1.5 を上回りました。

自律的な成功検出

成功検出により、ロボットはタスクが完了したかどうかを判断でき、失敗した試行を再試行するか、計画の次のステップに進むかを決定できます。Gemini Robotics-ER 1.6 はマルチビュー推論を改善し、複数のカメラストリーム（例：上方ビューと手首装着ビューを組み合わせる）から情報を統合して環境を一貫した理解にまとめ、遮蔽や低照度への対処に不可欠です。

エージェントビジョンによる計器読み取り

Boston Dynamics との共同開発により、Gemini Robotics-ER 1.6 は円形圧力計、垂直レベルインジケータ、デジタル表示などの複雑な産業用計器を読み取る機能を導入しました。これは Spot のような施設検査ロボットに特に有用です。

高精度を実現するために、モデルは「エージェントビジョン」を活用し、視覚的推論とコード実行を組み合わせたマルチステッププロセスを採用しています。

  1. Zooming: モデルは画像をズームインして、計器上の小さなディテールを捉えます。
  2. Estimation: 指差しとコード実行を用いて比例や間隔を推定します。
  3. Interpretation: 世界知識を適用し、単位や小数点以下を含む最終的な読み取りを解釈します。

「計器読み取りやより信頼性の高いタスク推論といった機能により、Spot は実世界の課題を完全に自律的に見て、理解し、対応できるようになります。」

— Marco da Silva, Vice President and General Manager of Spot at Boston Dynamics

安全性と制約遵守

Gemini Robotics-ER 1.6 は、Google DeepMind がこれまでに提供した中で最も安全なロボティクスモデルとされ、敵対的な空間推論タスクに対する Gemini の安全ポリシーへの準拠が向上しています。

主な安全性向上点は以下の通りです：

  • Physical Safety Constraints: 「液体を扱わない」や「重さ20kgを超える物体を持ち上げない」などの制約への遵守が向上。
  • Hazard Identification: 実際の怪我報告（Asimovベンチマーク）に基づくテストで、テキストシナリオで6%、ビデオシナリオで10%モデルがGemini 3.0 Flashよりも怪我リスクの正確な認識で改善。

利用可能性

Gemini Robotics-ER 1.6 は Gemini API と Google AI Studio を通じて開発者に提供されています。また、Google は具現化推論タスク向けにモデルを設定する例を含む開発者向け Colab ノートブックも提供しています。

Sources