Anthropic Claude ロボティクス評価：高レベル制御では急速な進歩を遂げるが、直接トルク制御には限界がある
まとめ
Anthropic の 2026 年 7 月のロボティクスベンチマークでは、最新の Claude モデルが事前学習済みの歩行・操作ポリシーを効果的に指導して現実世界のタスクを完了できることを示しているが、直接的なモータトルクや力を出力する要求には依然として失敗している。
主な発見：制御インターフェースがパフォーマンスを左右する
- インターフェースの選択はモデルサイズと同じくらい重要。 同じ Claude モデルでも、直接トルクを出力する際はスコアがほぼゼロになる一方、事前学習済みポリシーを監視する際には Embody ベンチマークで最高の合成スコアを達成できる。
- 高レベルインターフェース（ポリシー監視、VLA スケルトン）は低レベルインターフェースを常に上回る。 人型および四足歩行ロボットにおいて、すべてのモデルが直接トルク制御で失敗するが、プログラム制御やポリシーに基づく制御では測定可能な成功が得られる。
世代間の進歩は不均一
- 高レベル制御の進歩は明確。 Claude Opus 4.5 → Opus 4.7 および Mythos Preview では、高レベル歩行合成スコアが大幅に向上（最大 +15 ポイント）。
- 低レベル制御の進歩は僅か。 直接制御スコアは世代間でわずかに向上するが、多くの新モデル（例：Opus 4.6）は俯伏姿勢から四足歩行ロボットを立ち上がらせることができない。
- 強化学習による監視はコード制御に遅れる。 乱雑な TwinFlipper タスクで、GPT-5.4 以外のモデルは、単に Python コントローラを書くよりも劣る性能を示す。
歩行結果
| ロボット | タスク | 最も優れた Claude モデル | インターフェース |
|---|---|---|---|
| Unitree Go2（四足歩行） | バランス（約 2 秒） | Opus 4.6 / Mythos Preview | プログラム制御（Python） |
| Unitree Go2 | 前進歩行 | Opus 4.6（プログラム制御） | — |
| Unitree G1（人型） | 倒れた姿勢からの立ち上がり | なし（どのモデルも成功せず） | 直接制御 / プログラム制御 |
- 高レベルナビゲーション（11 タスク、例：find_x、maze、drift_detection）は、事前学習済みのジョイスティックポリシーとコンパスツールを用いて Mythos Preview で合成スコア 54/100 を達成。
- 知覚支援：コンパスの追加はすべてのモデルで性能を向上させるが、第三人称カメラは強力なモデル（Opus 4.7、Mythos Preview）にのみ効果がある。
操作結果
| プラットフォーム | タスク | 最も優れた Claude モデル | 成功率 |
|---|---|---|---|
| Franka Panda アーム（LIBERO） | 直接エンドエフェクタ制御 | Mythos Preview | 5.5 %（全体のタスク成功率） |
| 同プラットフォーム | VLA 監視による操作（40 タスク LIBERO） | Opus 4.6 / Opus 4.5 | 約 30 %（VLA 単体の 70 % と比較） |
- 直接制御：モデルはターゲットオブジェクトに到達し接触するようになるが、完全な把持は稀（0–5 %）。
- VLA 監視：VLA アクションの受け入れ・編集・置換が可能になると、すべてのモデルの性能が向上。Claude モデルは GPT-5.4 や Gemini 3.1 よりも VLA の提案をより多く採用し、「制御ペナルティ」を低減。
- 新規タスク：Opus 4.5–4.7 は VLA の失敗を認識し、無闇にポリシーに従うことが少なく、古いモデルよりも高いネットアップリフトを達成。
視覚とツールのアブレーション
- 深度マップ、セグメンテーション、クロスヘア は操作においてほとんど利点がない。カーソルツール（インタラクティブなポイントクエリ）の導入により、Mythos Preview の成功率は 10 タスクサブセットで 6 % から 32 % に向上。
- コンパス は歩行において最も効果的な支援であり、すべての設定で 5–12 ポイント向上。
- 生画像 vs. 文字によるシーン記述：古い Claude モデルはテキスト記述の方が性能が良いが、これはピクセルレベルの空間推論が弱いことを示す。新しい Claude モデル（Opus 4.6、Opus 4.7）および Gemini は画像をテキストに置き換えると性能が低下し、すでに有用な視覚情報を抽出できていることを示している。
推理予算の影響
- ほとんどの Claude 世代において、古典的制御、歩行、操作にはほとんど影響なし。
- 例外：Mythos Preview は適応的・最大推論予算から顕著な利点を得る。GPT-5.4 は歩行で恩恵を受ける。Gemini 3.1 は混合効果を示す。
- 全体として：追加の推論だけでは、低レベルと高レベル制御のギャップを埋めることはできない。
短期的な文脈内学習
- 古典的制御：後期の Claude モデルは、初期の強さではなく、失敗した試行を繰り返すことで改善する。
- 文脈の切り捨て：初期のターンを削除しても性能にほとんど悪影響がない。場合によっては「文脈腐敗（context rot）」により改善することも。Mythos Preview は堅牢性を維持しており、組み込み戦略を持っていると示唆。
- 高レベル歩行の練習実行：Mythos Preview は単一の例で L 字型コースを学習できるが、Opus モデルは複数回の繰り返しが必要。
実機 Unitree Go2 での実世界検証
- Find-X タスク：モデルは必要な 1 m の近接距離に到達しないことが多く、古いモデルは誤って反射をターゲットと誤認する。
- オフィスループナビゲーション：すべてのモデルが視覚記憶エラー（ターンの手がかりを失う、通路を過ぎる）により失敗。
- ツールの使用：クロスヘアは配置の判断に役立つが、障害物について誤解を招くことがある（例：クロスヘアの左に出現したゴミ箱に歩き込む）。
セーフティへのインパクト
- 能力の急激な変動：たとえばコンパスの追加といった小さなツール変更が、モデルの物理的影響力を桁違いに高める可能性がある。
- 評価にはアクセスレベルを含めるべき：モデルが有能なコントローラと連携している場合、孤立した LLM のみをテストするベンチマークは、現実世界での実力を過小評価する。
- 監視 vs. 自律：現在最も効果的なアプローチは、言語モデルが事前学習済みポリシーを監視すること。これにより、安全でない低レベル行動を制限しつつ、有用な指導を提供できる。
研究者・実務家への教訓
- ロボットに LLM を導入する際は、高レベルインターフェースを優先する。直接トルク制御は依然として信頼できない。
- 方向性ツール（コンパス、カーソル）を提供して、知覚のボトルネックを軽減する。
- 知覚と短期適応の急速な進歩を期待するが、長期計画能力が到達したと仮定しない。
- ポリシー監視にセーフティガードを設計する。LLM が行動を拒否または調整できるようにするが、低レベルコントローラを最終決定者として維持する。
- LLM + ポリシー + ツールのフルスタックでベンチマークを実施して、現実的な能力推定を得る。
すべての図、表、定量的スコアは Anthropic のオリジナル投稿「How Claude Performs on Robotics Tasks」（2026-07-09）から再現されたもの。追加データは一切生成されていない。
Sources
関連
- Dispatch
- Dispatch
- Dispatch
- Dispatch
- Dispatch