Andi Partovi: なぜすべてのAIエージェントにシミュレーション・サンドボックスが必要なのか

自律的なアクションベースのエージェントへの移行

AIエージェントの開発は、単純な知識ベースのチャットボットから、監視下のコパイロット、そして最終的には自律的なアクションベースのエージェントへと進化しています。コパイロットは通常、人間の承認を得るためにコンテンツの下書きを作成しますが、アクションベースのエージェントは、メールを送信したり、データベースを修正したり、支払いを実行したりする権限を持っています。この自律性の向上は、運用リスクを大幅に高めます。本番環境でのエラーは、データの損失や法的責任を含む深刻な結果を招く可能性があるためです。

なぜ従来の評価手法はAIエージェントに通用しないのか

ユニットテスト、アサーション、および「ゴールデンデータセット」（静的な入出力ペア）といった従来のソフトウェアエンジニアリングのテストは、以下の4つの主要な要因により、自律型エージェントには不十分です。

1. 非決定性

エージェントは、同じ入力に対して異なる出力を生成することがあります。したがって、テストは単一の成功した実行に頼るのではなく、特定の出力の統計的な可能性を判断するために、大規模かつ反復的に行う必要があります。

2. インタラクティビティ（相互作用性）

多くのエージェントは、外部システムとのマルチターン（複数回のやり取り）の会話の中で動作します。例えば、メールを通じてベンダーと交渉するソーシングエージェントは、メールの送受信やライブデータベースとのやり取りが可能なシステムを必要とします。静的なデータセットでは、このような動的なワークフローを捉えることができません。

3. 動的なラベリング

エージェント型システムにおいて、「正しい」答えは実行時のコンテキスト（文脈）に依存することがよくあります。もしエージェントが、認証ツールがエラーを返したためにトランザクションを拒否した場合、その拒否は正しいアクションとなります。たとえ、最初のテストの期待値がトランザクションの完了であったとしてもです。その結果、評価は、あらかじめ決められたラベルではなく、トレース（実行経過）の後に（post-trace）行う必要があります。

4. 予測不可能なユーザー行動

ユーザー向けのフロントエンド・エージェントは、敵対的な入力、スコープ外のリクエスト、およびエージェントを操作してポリシー違反をさせようとする試みにさらされます。これらのエッジケースは、従来の評価セットにはほとんど含まれていません。

解決策：シミュレーション駆動開発

「動作する」デモと、大規模に「機能する」システムとの間のギャップを埋めるために、開発者はシミュレーション環境、つまりAIエージェントのための高忠実度な「マトリックス」を必要としています。シミュレーション環境は、本番環境と同じツール、サービス、およびユーザータイプを提供することで本番環境を模倣しますが、失敗による現実世界での実害は伴いません。

POMDPフレームワーク

理論的な観点から見ると、AIエージェントは、部分観測マルコフ決定過程（POMDP）において動作します。チェスのゲーム（完全に観測可能なMDP）とは異なり、AIエージェントは環境の全状態やユーザーの意図を完全に把握しているわけではありません。エージェントは、アクションと報酬のシステムを通じてやり取りします。エージェントがアクションを実行し、環境の状態が変化し、エージェントが報酬（正または負）を受け取ります。この報酬は、即時的または遅延的である場合があります。

堅牢なシミュレーション環境の構成要素

効果的なシミュレーション環境を構築するには、4つのコアコンポーネントが必要です。

• テスト対象のエージェント: 評価される特定のAIエージェント。
• シミュレートされたツールとサービス: データベース、カレンダー、または通信プラットフォーム（例：Slack, SharePoint）などの、本番環境と同様に動作するモック版。
• シミュレートされたアクター: エージェントとやり取りするLLM駆動のペルソナ。効果的であるためには、これらのアクターは単に「親切で礼儀正しい」だけでなく、フラストレーションを感じている、理解不能な、あるいは一貫性のない人間をシミュレートし、エージェントの堅牢性をテストする必要があります。
• テストシナリオ: シミュレーションの実行方法を規定する包括的なスクリプト。特に、開発者が予期していなかったであろう失敗モードやエッジケースを明らかにするために設計されています。

エージェントの評価と改善

シミュレーションにおける評価は、LLMジャッジ（LLM judges）と客観的な検証の組み合わせを用いて行うべきです。Pythonスクリプトによる客観的な検証は、しばしば最も効果的な方法です。なぜなら、シミュレーション環境が、特定の状態変化（例：データベース内の残高が減少したこと）が実際に発生したかどうかを検証するために必要な「グラウンドトゥルース（正解）」を提供してくれるからです。

テストに加えて、シミュレーション環境は、以下の方法を通じてエージェントを反復的に改善するために使用できます。

1. プロンプトエンジニアリング: シミュレーションで発見された失敗モードに基づいて、プロンプトを洗練させる。
2. データ生成: Supervised Fine-Tuning (SFT) や Reinforcement Learning (RL) のために高品質なデータを作成し、新しい堅牢な動作を直接モデルに組み込む。