Anthropic 멀티 에이전트 연구 시스템 아키텍처 및 교훈
TL;DR
Anthropic은 Claude가 웹, 워크스페이스 및 도구 기반 검색을 위해 병렬 하위 에이전트를 조율할 수 있게 하는 프로덕션 등급 멀티 에이전트 연구 시스템을 출시했으며, 광범위 우선 쿼리에서 최대 90% 더 높은 성능을 제공하지만 더 높은 토큰 비용이 발생합니다.
멀티 에이전트 연구가 중요한 이유
멀티 에이전트 시스템은 연구 계획을 동적으로 조정하고, 여러 단서를 병렬로 탐색하며, 별도의 컨텍스트 창에 걸쳐 결과를 압축할 수 있습니다—이러한 기능은 단일 에이전트 파이프라인이 개방형이고 경로 의존적인 조사에서 갖추지 못한 것입니다.
핵심 아키텍처 패턴
이 시스템은 오케스트레이터-워커 설계를 따릅니다:
- 리드 에이전트 – 사용자 쿼리를 받아 연구 전략을 수립하고 전문화된 하위 에이전트를 생성합니다.
- 하위 에이전트 – 병렬로 실행되며, 각각 검색 도구를 사용하여 문제의 서로 다른 측면에 대한 정보를 수집합니다.
- 인용 에이전트 – 집계된 결과를 후처리하여 정확한 출처 인용을 생성합니다.
리드 에이전트는 컨텍스트 창 잘림(약 200k 토큰)을 견디기 위해 계획을 장기 메모리에 유지합니다. 하위 에이전트는 다음 쿼리를 실행하기 전에 도구 출력을 평가하기 위해 인터리브 사고를 사용합니다. 병렬 처리는 두 수준에서 발생합니다: 여러 하위 에이전트가 동시에 실행되고, 각 하위 에이전트는 여러 도구를 병렬로 호출할 수 있어 복잡한 쿼리의 연구 지연 시간을 최대 90%까지 줄입니다.
성능 향상
- 벤치마크: Anthropic의 내부 연구 평가에서 Claude Opus 4 리드 + Claude Sonnet 4 하위 에이전트가 단일 Claude Opus 4보다 90.2% 더 우수한 성능을 보였습니다.
- BrowseComp 분석: 토큰 사용량이 성능 변동의 **80%**를 설명합니다; 도구 호출 수와 모델 선택이 나머지 변동을 설명합니다.
- Claude Sonnet 3.7에서 Claude Sonnet 4로 업그레이드하면 토큰 예산을 두 배로 늘리는 것보다 더 큰 향상을 가져오며, 모델 효율성이 병렬 토큰 사용의 이점을 배가시킨다는 것을 확인합니다.
토큰 비용 절충
- 멀티 에이전트 실행은 표준 채팅의 약 4배, 단일 에이전트 상호작용의 15배 토큰을 소비합니다.
- 따라서 경제적 실행 가능성은 성능 향상이 비용을 정당화하는 고가치 작업이 필요합니다.
- 에이전트 간 의존성이 높은 작업(예: 많은 코딩 단계)은 현재 이 아키텍처에 덜 적합합니다.
프롬프트 엔지니어링 원칙
| # | 원칙 | 실질적 영향 |
|---|---|---|
| 1 | 에이전트처럼 생각하라 | Anthropic Console에서의 시뮬레이션 실행은 중복 검색 및 조기 종료와 같은 실패 모드를 노출했습니다. |
| 2 | 오케스트레이터에게 위임을 가르쳐라 | 명확한 하위 에이전트 목표, 출력 형식 및 도구 지침은 중복 작업과 공백을 방지합니다. |
| 3 | 쿼리 복잡성에 맞춰 노력 조정 | 명시적 규칙(예: 단순 사실에 대해 1개 에이전트 + 3-10회 도구 호출)은 과잉 투자를 억제합니다. |
| 4 | 도구 설계가 중요하다 | 정확한 도구 설명과 휴리스틱(예: 일반 도구보다 전문화된 도구 선호)은 막다른 검색을 피합니다. |
| 5 | 에이전트가 스스로 개선하게 하라 | Claude 4는 결함이 있는 도구 설명을 진단하고 다시 작성하여 향후 작업 시간을 40% 단축할 수 있습니다. |
| 6 | 넓게 시작한 후 좁혀라 | 광범위한 초기 쿼리 후 점진적 정제는 더 풍부한 소스 세트를 생성합니다. |
| 7 | 사고 과정을 안내하라 | 확장 및 인터리브 사고는 가시적인 스크래치패드 역할을 하여 계획 및 결과 평가를 개선합니다. |
| 8 | 병렬 도구 호출 | 3-5개의 하위 에이전트를 생성하고 각각이 ≥3개의 도구를 병렬로 호출하도록 허용하면 전체 연구 시간이 극적으로 줄어듭니다. |
평가 전략
- 소규모 샘플 조기 테스트: 약 20개의 실제 쿼리 세트는 성공률을 30%에서 80%로 높인 프롬프트 조정을 드러냈습니다.
- LLM-as-judge: 단일 Claude 기반 평가자가 사실적 정확성, 인용 정확성, 완전성, 소스 품질 및 도구 효율성에 대해 출력을 점수화하여 0.0-1.0 점수와 통과/실패 라벨을 제공했습니다.
- 인간 스팟 체크: 수동 검토자는 SEO 중심 소스에 대한 체계적 편향을 식별했습니다; 소스 품질 휴리스틱 추가로 이 문제를 수정했습니다.
- 최종 상태 초점: 고정된 단계별 경로를 강제하는 대신, 평가는 최종 답변이 쿼리의 의도를 충족하는지 판단하여 다양한 유효한 연구 경로를 수용합니다.
프로덕션 안정성 과제
- 상태 저장 오류 전파 – 에이전트는 장기 실행 상태를 유지합니다; 실패는 전체 재시작을 요구하기보다 재개 가능해야 합니다. Anthropic은 체크포인팅과 모델 기반 오류 처리를 추가했습니다(예: 도구 실패를 에이전트에 알림).
- 관찰 가능성 – 에이전트 결정의 전체 스택 추적(사용자 콘텐츠 노출 없이)은 누락된 정보의 신속한 근본 원인 분석을 가능하게 했습니다.
- 레인보우 배포 – 이전 및 새 에이전트 버전 간 점진적 트래픽 전환은 업데이트 중 프로세스 중간 충돌을 방지합니다.
- 동기식 병목 현상 – 현재 리드 에이전트 조정은 모든 하위 에이전트가 완료될 때까지 기다린 후 진행합니다; 향후 작업은 추가 조정 복잡성에도 불구하고 병렬 처리를 증가시키기 위해 비동기 실행을 도입하는 것을 목표로 합니다.
실제 영향
사용자들은 Claude의 연구 기능이 비즈니스 기회를 발견하고, 복잡한 의료 옵션을 명확히 하며, 기술 버그를 해결하고, 수일간의 수동 조사를 절약한다고 보고합니다. 사용량 히트맵(Clio 임베딩 플롯)은 최상위 카테고리를 보여줍니다: 소프트웨어 시스템 개발(10%), 전문 콘텐츠 제작(8%), 비즈니스 전략(8%), 학술 연구(7%), 엔터티 검증(5%).
빌더를 위한 시사점
- 병렬 처리를 위해 설계하라: 별도의 컨텍스트 창과 명확한 작업 분담은 토큰 효율적인 확장을 가능하게 합니다.
- 시뮬레이션으로 프롬프트를 반복하라: 에이전트를 단계별로 관찰하면 미묘한 실패 모드가 드러납니다.
- 도구 사용성을 우선시하라: 정확한 도구 설명과 휴리스틱은 낭비되는 호출을 극적으로 줄입니다.
- 강력한 관찰 가능성과 재개 가능한 상태를 구현하라: 사소한 버그가 연쇄적으로 발생할 수 있습니다; 체크포인트와 추적이 필수적입니다.
- 소규모의 다양한 쿼리로 평가를 조기에 시작하라: 조기 피드백은 대규모 벤치마크 전에 큰 성능 향상을 제공합니다.
모든 진술은 Anthropic 자체 보고를 반영합니다; 외부 데이터는 추가되지 않았습니다.