Anthropic マルチエージェント研究システムのアーキテクチャと教訓
TL;DR
Anthropic は、Claude がウェブ、ワークスペース、ツール駆動の検索のために並列サブエージェントを調整できる本番グレードのマルチエージェント研究システムを公開しました。これにより、幅優先クエリでのパフォーマンスが最大 90% 向上する一方、トークンコストは増加します。
マルチエージェント研究が重要な理由
マルチエージェントシステムは、研究計画を動的に適応させ、複数のリードを並列に探索し、別々のコンテキストウィンドウにわたって調査結果を圧縮できます。これらの能力は、オープンエンドで経路依存の調査においてシングルエージェントパイプラインには欠けています。
中核となるアーキテクチャパターン
このシステムは オーケストレーター・ワーカー 設計に従います：
- リードエージェント – ユーザーのクエリを受け取り、研究戦略を考案し、専門化されたサブエージェントを生成します。
- サブエージェント – 並列に実行され、それぞれが検索ツールを使用して問題の異なる側面に関する情報を収集します。
- 引用エージェント – 集約された結果を後処理して、正確なソース引用を生成します。
リードエージェントは、コンテキストウィンドウの切り詰め（約 200k トークン）を乗り越えるために、その計画を長期記憶に保持します。サブエージェントは、次のクエリを発行する前にツール出力を評価するために インターリーブ思考 を採用します。並列性は 2 つのレベルで発生します：複数のサブエージェントが同時に実行され、各サブエージェントは複数のツールを並列に呼び出すことができ、複雑なクエリの研究遅延を最大 90% 削減します。
パフォーマンス向上
- ベンチマーク: Anthropic の内部研究評価では、Claude Opus 4 リード + Claude Sonnet 4 サブエージェントは、単一の Claude Opus 4 を 90.2% 上回りました。
- BrowseComp 分析: トークン使用量はパフォーマンスのばらつきの 80% を説明します。ツール呼び出し数とモデル選択が残りのばらつきを説明します。
- Claude Sonnet 3.7 から Claude Sonnet 4 へのアップグレードは、トークン予算を 2 倍にするよりも大きな向上をもたらし、モデル効率が並列トークン使用の利点を増幅することを確認しています。
トークンコストのトレードオフ
- マルチエージェント実行は、標準的なチャットの約 4 倍、シングルエージェントインタラクションの 15 倍 のトークンを消費します。
- したがって、経済的実行可能性には、パフォーマンス向上がコストを正当化する高価値タスクが必要です。
- エージェント間の依存関係が密なタスク（例：多くのコーディングステップ）は、現在このアーキテクチャにはあまり適していません。
プロンプトエンジニアリングの原則
| # | 原則 | 実践的な影響 |
|---|---|---|
| 1 | エージェントのように考える | Anthropic Console でのシミュレーション実行により、冗長な検索や早期終了などの障害モードが明らかになりました。 |
| 2 | オーケストレーターに委任を教える | 明確なサブエージェントの目的、出力形式、ツールガイダンスにより、重複作業とギャップを防ぎます。 |
| 3 | クエリの複雑さに応じて労力をスケール | 明示的なルール（例：単純な事実には 1 エージェント + 3〜10 回のツール呼び出し）が過剰投資を抑えます。 |
| 4 | ツール設計が重要 | 正確なツールの説明とヒューリスティック（例：汎用ツールよりも専門ツールを優先）により、行き止まりの検索を回避します。 |
| 5 | エージェントに自己改善を促す | Claude 4 は、不正確なツールの説明を診断して書き換えることができ、将来のタスク時間を 40% 削減します。 |
| 6 | 広く始めてから絞り込む | 最初の広範なクエリに続いて段階的に絞り込むことで、より豊富なソースセットが得られます。 |
| 7 | 思考プロセスを導く | 拡張およびインターリーブ思考は可視的なスクラッチパッドとして機能し、計画と結果評価を改善します。 |
| 8 | 並列ツール呼び出し | 3〜5 個のサブエージェントを生成し、各エージェントが 3 つ以上のツールを並列に呼び出せるようにすることで、全体的な研究時間を劇的に短縮します。 |
パフォーマンス向上
- ベンチマーク: Anthropic の内部研究評価では、Claude Opus 4 リード + Claude Sonnet 4 サブエージェントが、単一の Claude Opus 4 を 90.2% 上回りました。
- BrowseComp 分析: トークン使用量がパフォーマンスのばらつきの 80% を説明します。ツール呼び出し数とモデル選択が残りのばらつきを説明します。
- Claude Sonnet 3.7 から Claude Sonnet 4 へのアップグレードは、トークン予算を 2 倍にするよりも大きな向上をもたらし、モデル効率が並列トークン使用の利点を増幅することを確認しています。
トークンコストのトレードオフ
- マルチエージェント実行は、標準的なチャットの約 4 倍、シングルエージェント対話の 15 倍 のトークンを消費します。
- したがって、経済的実行可能性には、パフォーマンス向上がコストを正当化する高価値タスクが必要です。
- エージェント間の依存関係が密なタスク（例：多くのコーディングステップ）は、現在このアーキテクチャにはあまり適していません。
プロンプトエンジニアリングの原則
| # | 原則 | 実践的な影響 |
|---|---|---|
| 1 | エージェントのように考える | Anthropic Console でのシミュレーション実行により、冗長な検索や早期終了などの障害モードが明らかになりました。 |
| 2 | オーケストレーターに委任を教える | 明確なサブエージェントの目的、出力形式、ツールガイダンスにより、重複作業とギャップを防ぎます。 |
| 3 | クエリの複雑さに応じて労力をスケール | 明示的なルール（例：単純な事実には 1 エージェント + 3〜10 回のツール呼び出し）が過剰投資を抑えます。 |
| 4 | ツール設計が重要 | 正確なツールの説明とヒューリスティック（例：汎用ツールよりも専門ツールを優先）により、行き止まりの検索を回避します。 |
| 5 | エージェントに自己改善を促す | Claude 4 は、不正確なツールの説明を診断して書き換えることができ、将来のタスク時間を 40% 削減します。 |
| 6 | 広く始めてから絞り込む | 最初の広範なクエリに続いて段階的に絞り込むことで、より豊富なソースセットが得られます。 |
| 7 | 思考プロセスを導く | 拡張およびインターリーブ思考は可視的なスクラッチパッドとして機能し、計画と結果評価を改善します。 |
| 8 | 並列ツール呼び出し | 3〜5 個のサブエージェントを生成し、各エージェントが 3 つ以上のツールを並列に呼び出せるようにすることで、全体的な調査時間が劇的に短縮されます。 |
評価戦略
- 小規模サンプルの早期テスト: 約 20 件の実世界クエリのセットにより、成功率を 30% から 80% に引き上げるプロンプト調整が明らかになりました。
- LLM-as-judge: 単一の Claude ベースの判定者が、事実の正確性、引用の正確性、完全性、ソース品質、ツール効率について出力をスコアリングし、0.0〜1.0 のスコアと合格/不合格ラベルを提供しました。
- 人間によるスポットチェック: 手動レビュー担当者が SEO 重視のソースへの系統的なバイアスを特定し、ソース品質ヒューリスティックを追加することでこの問題を修正しました。
- 最終状態への焦点: 固定されたステップバイステップのパスを強制するのではなく、評価は最終回答がクエリの意図を満たしているかどうかを判断し、多様な有効な研究経路に対応します。
本番環境の信頼性に関する課題
- ステートフルなエラー伝播 – エージェントは長時間実行される状態を維持します。失敗は完全な再起動を必要とするのではなく、再開可能である必要があります。Anthropic はチェックポイントとモデル駆動のエラー処理（ツール障害をエージェントに通知するなど）を追加しました。
- 可観測性 – エージェントの決定のフルスタックトレーシング（ユーザーコンテンツを公開せずに）により、情報の見逃しの根本原因分析が迅速に行えました。
- レインボーデプロイメント – 古いエージェントバージョンと新しいエージェントバージョン間でトラフィックを段階的に移行することで、更新中のプロセス途中のクラッシュを防ぎます。
- 同期ボトルネック – 現在のリードエージェントの調整は、すべてのサブエージェントが終了するのを待ってから進行します。将来の作業では、調整の複雑さが増すにもかかわらず、並列性を高めるために非同期実行を導入することを目指しています。
パフォーマンスの向上
- ベンチマーク: Anthropic の内部研究評価では、Claude Opus 4 リード + Claude Sonnet 4 サブエージェントが、単一の Claude Opus 4 を 90.2% 上回りました。
- BrowseComp 分析: トークン使用量がパフォーマンスのばらつきの 80% を説明します。ツール呼び出し数とモデル選択が残りのばらつきを説明します。
- Claude Sonnet 3.7 から Claude Sonnet 4 へのアップグレードは、トークン予算を 2 倍にするよりも大きな向上をもたらし、モデル効率が並列トークン使用の利点を増幅することを確認しています。
トークンコストのトレードオフ
- マルチエージェント実行は、標準的なチャットの約 4 倍、シングルエージェント対話の 15 倍 のトークンを消費します。
- したがって、経済的実行可能性には、パフォーマンス向上がコストを正当化する高価値タスクが必要です。
- エージェント間の依存関係が密なタスク（例：多くのコーディングステップ）は、現在このアーキテクチャにはあまり適していません。
プロンプトエンジニアリングの原則
| # | 原則 | 実践的な影響 |
|---|---|---|
| 1 | エージェントのように考える | Anthropic Console でのシミュレーション実行により、冗長な検索や早期終了などの障害モードが明らかになりました。 |
| 2 | オーケストレーターに委任を教える | 明確なサブエージェントの目的、出力形式、ツールガイダンスにより、重複作業とギャップを防ぎます。 |
| 3 | クエリの複雑さに応じて労力をスケール | 明示的なルール（例：単純な事実には 1 エージェント + 3〜10 回のツール呼び出し）が過剰投資を抑えます。 |
| 4 | ツール設計が重要 | 正確なツールの説明とヒューリスティック（例：汎用ツールよりも専門ツールを優先）により、行き止まりの検索を回避します。 |
| 5 | エージェントに自己改善を促す | Claude 4 は、不正確なツールの説明を診断して書き換えることができ、将来のタスク時間を 40% 削減します。 |
| 6 | 広く始めてから絞り込む | 最初の広範なクエリに続いて段階的に絞り込むことで、より豊富なソースセットが得られます。 |
| 7 | 思考プロセスを導く | 拡張およびインターリーブ思考は可視的なスクラッチパッドとして機能し、計画と結果の評価を改善します。 |
| 8 | 並列ツール呼び出し | 3〜5 個のサブエージェントを生成し、各エージェントが 3 つ以上のツールを並列に呼び出せるようにすることで、全体的な調査時間が劇的に短縮されます。 |
評価戦略
- 小規模サンプルの早期テスト: 約 20 件の実世界クエリのセットにより、成功率を 30% から 80% に引き上げたプロンプト調整が明らかになりました。
- LLM-as-judge: 単一の Claude ベースの判定者が、事実の正確性、引用の正確性、完全性、ソース品質、ツール効率について出力をスコアリングし、0.0〜1.0 のスコアと合格/不合格ラベルを提供しました。
- 人間によるスポットチェック: 手動レビュー担当者が SEO 重視のソースへの系統的なバイアスを特定しました。ソース品質ヒューリスティックを追加することでこの問題は修正されました。
- 最終状態への焦点: 固定されたステップバイステップのパスを強制するのではなく、評価は最終回答がクエリの意図を満たしているかどうかを判断し、多様な有効な研究経路に対応します。
本番環境の信頼性に関する課題
- ステートフルなエラー伝播 – エージェントは長時間実行される状態を維持します。失敗は完全な再起動を必要とするのではなく、再開可能である必要があります。Anthropic はチェックポイントとモデル駆動のエラーハンドリング（ツール障害をエージェントに通知するなど）を追加しました。
- 可観測性 – エージェントの決定のフルスタックトレーシング（ユーザーコンテンツを公開せずに）により、情報の見逃しの根本原因分析が迅速に行えました。
- レインボーデプロイメント – 古いエージェントバージョンと新しいエージェントバージョン間でトラフィックを段階的に移行することで、更新中のプロセス途中のクラッシュを防ぎます。
- 同期ボトルネック – 現在のリードエージェントの調整は、すべてのサブエージェントが終了するのを待ってから進行します。将来の作業では、調整の複雑さが増すにもかかわらず、並列性を高めるために非同期実行を導入することを目指しています。
実世界での影響
ユーザーは、Claude の研究機能がビジネスチャンスを発見し、複雑な医療オプションを明確にし、技術的なバグを解決し、数日分の手動調査を節約すると報告しています。使用状況ヒートマップ（Clio 埋め込みプロット）は、上位カテゴリを示しています：ソフトウェアシステム開発（10%）、プロフェッショナルコンテンツ作成（8%）、ビジネス戦略（8%）、学術研究（7%）、エンティティの検証（5%）。
ビルダーへの教訓
- 並列性のために設計する：コンテキストウィンドウを分離し、役割分担を明確にすることで、トークン効率の高いスケーリングが可能になります。
- シミュレーションでプロンプトを反復する：エージェントを段階的に観察すると、微妙な失敗モードが明らかになります。
- ツールの人間工学を優先する：正確なツールの説明とヒューリスティックにより、無駄な呼び出しが劇的に減少します。
- 堅牢な可観測性と再開可能な状態を実装する：小さなバグが連鎖する可能性があります。チェックポイントとトレーシングが不可欠です。
- 小さく多様なクエリで早期に評価を開始する：早期のフィードバックは、大規模なベンチマークの前に大きなパフォーマンス向上をもたらします。
すべての記述は Anthropic 自身の報告を反映したものです。外部データは追加されていません。