SIMA 2: バーチャル3D世界であなたと遊び、考え、学ぶエージェント

SIMA 2は指示従順からインタラクティブな推論へと進化

Google DeepMindは、Geminiモデルを統合した汎用AIエージェントSIMA 2を発表しました。これにより、基本的な指示従順エージェントからインタラクティブなゲームコンパニオンへと移行します。前バージョンとは異なり、SIMA 2は高レベルの目標について推論し、ユーザーと対話して意図した行動を説明し、自己主導のプレイを通じて時間とともにパフォーマンスを向上させることができます。

高度な推論のためのGemini統合

SIMA 2はコアアーキテクチャとしてGeminiモデルを利用し、元のSIMAの600の言語従順スキルを超えることができます。この統合により、エージェントは仮想キーボードとマウスを使用して、基盤となるゲームメカニクスにアクセスせずに、複雑な3D環境で目標指向の行動を認識・理解・実行できるようになります。

  • Goal-Oriented Execution: エージェントは高レベルのユーザー目標を理解し、それを達成するために必要な複雑な推論を実行できます。
  • Transparent Communication: 人間のデモ動画とGemini生成ラベルの混合で訓練され、SIMA 2はタスクを達成するために取っている具体的なステップを詳細に説明できます。
  • Collaborative Interaction: インタラクションモデルは単純なコマンドと応答から、エージェントがユーザーと共にタスクについて推論する協調的なパートナーシップへと変化しました。

未見環境への汎化

SIMA 2は、初代に比べて汎化と信頼性が大幅に向上し、幅広いタスクで人間レベルに近いパフォーマンスを示します。学習した概念を異なるゲーム間で転用でき、例えばあるゲームの「採掘」概念を別のゲームの「収穫」に適用することが可能です。

  • Complex Task Handling: 長く微妙な指示を理解し、実行する能力。
  • Multimodal Understanding: マルチモーダルプロンプト、異なる言語、絵文字への対応。
  • Zero-Shot Adaptability: SIMA 2は、トレーニングされていないゲームでも動作でき、例えばバイキングサバイバルゲーム ASKA や研究実装 MineDojo (Minecraft) があります。
  • Synthetic World Adaptation: テキストや画像からリアルタイムで3Dシミュレートされた世界を生成するモデル Genie 3 と組み合わせると、SIMA 2は全く新しく想像された未経験の環境でも自らの位置を把握し、意味のある行動を取ることができます。

スケーラブルな自己改善サイクル

SIMA 2はマルチタスク自己改善能力を導入し、追加の人間生成データなしで新しい世界でスキルを開発できるようにします。これは、反復的な改善の好循環によって実現されます：

  1. Initial Guidance: Geminiはエージェントの行動に対する初期タスクと推定報酬を提供します。
  2. Experience Banking: この情報は自己生成経験のバンクに保存されます。
  3. Iterative Training: エージェントはこの経験を用いて次世代を訓練し、人間の介入なしに以前失敗したタスクを克服できるようになります。

このプロセスは新たに作成されたGenie環境にも拡張されており、多様な生成世界全体で汎用エージェントを訓練するためのマイルストーンとなっています。

現在の制限と今後の方向性

進展にもかかわらず、SIMA 2はまだ研究段階であり、いくつかの未解決課題があります：

  • Long-Horizon Tasks: エージェントは依然として、広範なマルチステップ推論と目標検証を要する非常に複雑なタスクに苦戦しています。
  • Memory Constraints: 低遅延インタラクションを維持するため、SIMA 2は限定されたコンテキストウィンドウを使用し、インタラクションの記憶が比較的短くなります。
  • Low-Level Control: 複雑な3Dシーンの堅牢な視覚理解と、キーボードとマウスによる正確な低レベル操作の実行は依然として課題です。

汎用具現化インテリジェンスへの示唆

SIMA 2は、汎用的で行動指向のAIへの道筋を検証するものです。多様なマルチワールドデータとGeminiの推論能力を統合することで、Google DeepMindは将来の物理世界におけるAIアシスタントの基礎的な構成要素を作り出すことを目指しています。仮想環境で学習したスキル（ナビゲーション、ツール使用、協調的実行）は、ロボティクスにおける知能の物理的具現化への重要な前段階と見なされています。

SIMA 2は現在、限られた研究プレビューとして、少数の学術関係者とゲーム開発者に提供されています。

Sources