信頼できる自律性に向けて：ガードレールとデータ・フライホイール

ガードレールとデータ・フライホイールによる信頼できる自律性

ロボットシステムは、制御された環境における高度に振り付けられた反復的な動作から、大規模な実世界への展開へと移行しています。学習アルゴリズムやエンドツーエンドのAIアーキテクチャの進歩により、ロボットは複雑なセンサーモダリティや汎用的な操作を扱うことが可能になりましたが、予測不可能な失敗には依然として脆弱です。信頼できる自律性には、「完璧な」モデルを構築するという目標を超えて、自身の限界を認識し、危険から安全に回復し、展開の経験を通じて診断・改善できるシステムを構築することが求められます。

「速い思考と遅い思考」による意味論的アノマリーへの対処

従来の分布外（OOD）検出は、障害物回避などの物理的な安全性や、視覚的な新奇性に焦点を当てることが一般的です。しかし、現実世界の失敗の多くは「意味論的アノマリー（semantic anomalies）」、つまり、通常の物体が異常な文脈で使用されることでシステムレベルの混乱を招く状況です。例えば、一時停止の標識が描かれたTシャツを着た人物に対して自動運転車が停止したり、ロボットがプラスチック製の食器を（引き出しではなく）オーブンに入れてしまったりするケースが挙げられます。

これらのアノマリーを軽減するために、機敏なロボットに必要な反応性を維持しつつ、大規模言語モデル（LLM）の常識的な推論を活用する2段階の意思決定フレームワークが提案されています。

2段階の推論パイプライン

• Fast Reasoner (Anomaly Detection): autoregressive token generation のレイテンシを避けるため、システムは埋め込みベースの類似性クエリを使用します。ロボットの過去の経験から得られた意味論的埋め込みベクトルのデータベースが維持されます。実行時に、現在の観測値は埋め込みに変換されます。もしそれがデータベースと大きく異なる場合、アノマリーとしてフラグが立てられます。小規模なモデル（例：MPNet や BERT、約100Mパラメータ）は、このタスクを（NVIDIA Jetson 上で最大40Hzという）高い頻度で、高い精度で実行できます。
• Slow Reasoner (Safety Intervention): アノマリーが検出されると、システムはより大規模なLLMにクエリを送り、状況の安全上の重要性を推論し、適切な介入を行わせます。この「思考の連鎖（chain-of-thought）」推論は計算コストが高いものの、下流の結果を評価するために必要不可欠です。

制御と計画への統合

LLMの推論による遅延が発生している間の安全性を確保するため、システムは「リカバリーセット（recovery sets）」（状態空間の制御不変部分集合）のツリーを維持する Model Predictive Controller (MPC) を利用します。これらのリカバリーセット（例えば、待機ゾーンでのホバリングやフィールドへの着陸など）は、LLMへの選択肢として提示されます。MPC は、LLMの応答時間の最大値に対してフォールバック・トラジェクタリが重なるように制御することで、決定が返された後に選択された介入が動的に実行可能であることを保証します。

データ属性による体系的なポリシー改善

ロボティクスがモノリシックなエンドツーエンドのAIモデルへと移行するにつれ、デバッグが困難になっています。なぜなら、調整可能な明示的な制御ロジックが存在しないからです。失敗は、しばしば学習データに起因します。例えば、人間のデモンストレーターのスキルのばらつき、脆弱な戦略、あるいは偽の相関（例：ロボットが特定の背景と必要なアクションを相関させてしまうこと）などが挙げられます。

Cupid アルゴリズムと影響関数

これらの「ブラックボックス」モデルを体系的に改善するために、データ中心のアプローチである Cupid が、学習データを展開時のパフォーマンスに因果的に関連付けるために使用されます。これは、影響関数（influence functions）の理論を通じて達成されます。影響関数は、特定の学習サンプルの追加または除外による、ポリシーのパフォーマンスへの一次の感度を計算します。

ロボティクスは逐次的な意思決定と未知の環境ダイナミクスを伴うため、標準的なMLの影響関数（個々の予測に帰属させるもの）では不十分です。提案された手法は、ポリシー・グラジエントのテクニックを適用し、パフォーマンスへの影響を、ポリシーのアクション・ログ尤度に対する学習データの「影響」の扱いやすい合計として分解します。

データ・フライホイール効果

各学習サンプルのパフォーマンスへの影響を推定することで、開発者は「データ・フライホイール」を構築できます：

1. Train（学習）: behavior cloning を介してポリシーを学習します。
2. Evaluate（評価）: クローズドループのロールアウトを通じてポリシーを評価します。
3. Curate（精査）: 低品質なサンプルを除去したり、成功率に正しく影響を与える高価値なサンプルを追加したりして、データを精査します。

実験結果では、このプロセスにより、ポリシーの成功率を40%から90%に向上させることができ、同時に学習サンプルを3分の2削減することに成功しました。これは、人間が設計したヒューリスティック（トラジェクタリのノイズを測定するなど）では見落としがちな偽の相関を効果的に排除することを示しています。

主な要点まとめ

• 完璧なモデルよりも実行時のモニター: 失敗しないモデルを構築しようとするのではなく、実用的なアプローチは、アノマリーを検出し、安全な介入を行う実行時モニターを実装することです。
• 意味論的安全性 vs. 物理的安全性: 意味論的アノマリーには、単純な視覚的新奇性検出ではなく、常識的な推論（LLM）が必要です。
• データ中心のデバッグ: エンドツーエンドのポリシーのパフォーマンスは、学習データの品質と構成によって決まります。影響関数のようなツールを用いることで、パフォーマンスを阻害害する「悪い」データを因果的に自動識別することが可能です。