Anthropic AI 에이전트 평가의 이해 – 모범 사례 및 로드맵

TL;DR

Anthropic은 AI 에이전트의 자동화된 평가를 설계하기 위한 상세한 프레임워크를 공개했으며, 엄격한 평가가 안정적인 출시에 필수적인 이유와 작업 수집부터 장기 유지보수까지의 실용적인 로드맵을 제시합니다.

평가란 무엇인가?

**평가(eval)**는 AI 시스템에 입력을 제공하고 출력에 채점 로직을 적용하는 테스트입니다. Anthropic은 개발 중에 인간 사용자 없이 실행되는 자동화된 평가에 중점을 둡니다.

  • 단일 턴 평가: 하나의 프롬프트, 하나의 응답, 간단한 채점기.
  • 다중 턴 평가: 도구 호출, 상태 변경, 일련의 추론 단계를 포함합니다.
  • 에이전트 평가: 다중 턴 상호작용, 환경 변경, 그리고 종종 정적 기대치를 능가할 수 있는 창의적인 모델 동작을 결합합니다.

핵심 용어

용어 의미
작업 / 문제 정의된 입력과 성공 기준을 가진 단일 테스트 사례.
시도 작업에 대한 한 번의 시도; 여러 시도는 확률적 변동성을 포착합니다.
채점자 성능의 한 측면을 점수화하는 로직; 여러 검사를 포함할 수 있습니다.
기록 / 트레이스 모든 메시지, 도구 호출, 중간 결과를 포함한 시도의 전체 기록.
결과 환경의 최종 상태 (예: 데이터베이스에 예약이 존재함).
평가 하네스 작업을 실행하고, 단계를 기록하고, 출력을 채점하고, 결과를 집계하는 인프라.
에이전트 하네스 / 스캐폴드 모델이 에이전트로 작동할 수 있게 하는 시스템(도구 호출 조정).
평가 스위트 특정 능력을 대상으로 하는 작업 모음(예: 고객 지원 시나리오).

평가가 중요한 이유

  • 초기 단계 에이전트는 수동으로 테스트할 수 있지만, 일단 프로덕션에 들어가면 팀은 회귀에 대한 가시성을 잃게 됩니다.
  • 평가가 없으면 디버깅은 반응적입니다: 사용자 불만을 기다리고, 수동으로 재현하고, 수정하고, 다른 것이 고장나지 않기를 바랍니다.
  • 평가는 기준 지표, 회귀 가드, 그리고 제품과 연구 간의 의사소통 채널을 제공합니다.
  • 평가 파이프라인을 갖춘 기업은 새로운 모델을 수주가 아닌 수일 내에 채택할 수 있습니다. 강점을 빠르게 측정하고, 프롬프트를 조정하며, 안전성을 검증할 수 있기 때문입니다.

채점자 유형

  1. 코드 기반 채점자 – 결정론적 검사(예: 단위 테스트, 정적 분석). 코딩 에이전트에 이상적입니다.
  2. 모델 기반 채점자 – 구조화된 루브릭을 사용하여 심판 역할을 하는 LLM. 어조나 추론 품질과 같은 주관적 차원에 유용합니다.
  3. 인간 채점자 – 모델 심판의 주기적인 보정 또는 엣지 케이스 검증.

채점 점수는 작업에 따라 가중치 적용, 이진, 또는 하이브리드 방식으로 결합될 수 있습니다.

역량 평가 vs 회귀 평가

  • 역량 평가는 낮은 통과율을 목표로 약점을 표면화하고 개선을 유도합니다.
  • 회귀 평가는 의도하지 않은 손상을 감지하기 위해 거의 100% 통과율을 목표로 합니다.
  • 시간이 지나면서 에이전트가 작업을 안정적으로 해결하면 역량 평가 세트는 회귀 평가 세트로 전환될 수 있습니다.

에이전트 유형별 평가 기법

코딩 에이전트

  • 명확하게 정의된 작업과 안정적인 테스트 환경을 사용합니다.
  • 결정론적 채점기(단위 테스트)가 기본입니다. 예: SWE-bench Verified 및 Terminal-Bench.
  • 도구 사용 패턴 및 코드 품질 휴리스틱에 대한 트랜스크립트 채점기로 보완합니다.

대화형 에이전트

  • 결과(예: 티켓 해결)와 상호작용 품질(어조, 턴 수)을 모두 측정합니다.
  • 종종 사용자를 시뮬레이션하기 위해 두 번째 LLM이 필요합니다.
  • τ‑Bench 및 τ2‑Bench 같은 벤치마크는 다중 턴, 적대적 대화를 평가합니다.

연구 에이전트

  • 근거 확인, 범위 확인, 출처 품질 확인을 결합합니다.
  • "정확성"은 종종 주관적이므로 전문가 인간에 대해 보정된 LLM 루브릭을 사용합니다.
  • 예시 벤치마크: BrowseComp (공개 웹에서 바늘 찾기).

컴퓨터 사용 에이전트

  • 샌드박스 GUI(브라우저, OS)에서 에이전트를 실행하고 최종 상태(파일, DB 항목, UI 요소)를 검증합니다.
  • 벤치마크: WebArena(브라우저 작업) 및 OSWorld(전체 OS 제어).
  • 도구 선택 효율성 평가: DOM 추출 vs. 스크린샷 기반 상호작용.

비결정성 처리

  • pass@k – k번의 시도 중 적어도 하나가 성공할 확률. 단일 성공으로 충분할 때 유용합니다.
  • pass^k – k번의 시도 모두가 성공할 확률. 일관성이 중요한 제품에 필수적입니다.
  • 두 지표 모두 보고해야 하며, 선택은 가끔의 성공이 필요한지 또는 보장된 신뢰성이 필요한지에 따라 달라집니다.

로드맵: 0에서 신뢰할 수 있는 평가까지

단계 조치 핵심 통찰
0 20~50개의 실제 실패 사례로 일찍 시작하세요. 에이전트가 자주 변경될 때 작은 표본도 높은 신호를 제공합니다.
1 기존 수동 검사 또는 버그 트래커 항목을 작업으로 변환하세요. 평가가 실제 사용자 영향을 반영하도록 보장합니다.
2 명확한 작업 사양과 참조 솔루션을 작성하세요. 두 전문가가 통과/실패에 동의해야 합니다. 모호한 사양은 노이즈가 많은 지표를 초래합니다.
3 긍정 사례와 부정 사례의 균형을 맞춰 한쪽으로 치우친 최적화를 피하세요. 불필요한 검색과 같은 과잉 또는 과소 트리거 동작을 방지합니다.
4 안정적이고 격리된 평가 하네스(시행별 깨끗한 환경)를 구축하세요. 인프라 노이즈를 제거하고 이전 상태로 인한 불공정한 이점을 방지합니다.
5 먼저 결정론적 채점기를 선택하고, 필요한 곳에 LLM 채점기를 추가하며, 가끔 인간 검토로 보정합니다. 엄격한 단계별 채점은 창의적인 솔루션에 불이익을 줍니다. 경로가 아닌 결과를 채점하세요.
6 정기적으로 기록을 검토하여 채점기의 공정성을 확인하고 숨은 버그를 발견합니다. 기록 검토는 평가가 의도된 동작을 측정하는지 확인하는 주요 방법입니다.
7 평가 포화(점수가 100%에 근접)를 주의하세요. 포화가 발생하면 더 어려운 작업이나 새로운 차원을 도입하세요.
8 전담 평가 팀과 제품 소유자의 기여를 통해 스위트를 유지하세요. 스위트를 단위 테스트 라이브러리처럼 취급하세요.

평가를 다른 품질 신호와 통합하기

  • 자동화된 평가 – 모든 코드/모델 변경 시 CI/CD에서 실행.
  • 프로덕션 모니터링 – 분포 변화 및 실제 실패 감지.
  • A/B 테스트 – 트래픽이 충분해지면 중요한 변경 사항 검증.
  • 사용자 피드백 및 트랜스크립트 샘플링 – 새로운 실패 모드를 지속적으로 발견.
  • 체계적인 인간 연구 – LLM 판정자 보정 및 고도로 주관적인 출력 평가.

이러한 계층이 함께 스위스 치즈 모델의 안전성을 형성합니다: 각 계층은 다른 계층이 놓칠 수 있는 문제를 잡아냅니다.

오픈소스 및 상용 평가 프레임워크

프레임워크 강점
Harbor 컨테이너화된 에이전트 실행, 벤치마크 레지스트리(예: Terminal-Bench 2.0).
Braintrust 오프라인 평가와 프로덕션 관찰 가능성 결합, autoevals 라이브러리 포함.
LangSmith / Langfuse 긴밀한 LangChain 통합, 추적, 데이터셋 관리; Langfuse는 자체 호스팅.
Arize Phoenix / AX 오픈소스 추적 및 디버깅; AX는 SaaS 확장 및 모니터링 추가.

스택에 맞는 프레임워크를 선택한 후, 고품질 작업과 채점기 구축에 집중하세요.

핵심 요점

엄격하고 자동화된 평가는 안정적인 AI 에이전트 개발의 중추입니다. 명확한 작업을 정의하고, 결정론적이고 보정된 채점기를 사용하며, 역량과 회귀를 모두 측정하고, 시간이 지남에 따라 평가 스위트를 유지함으로써 팀은 에이전트를 더 빠르게 출시하고, 새로운 모델을 자신 있게 채택하며, 비용이 많이 드는 반응적 디버깅 주기를 피할 수 있습니다.

요약

Anthropic은 AI 에이전트를 위한 자동화된 평가를 구축, 실행 및 유지보수하는 방법에 대한 포괄적인 가이드를 발표했으며, 정의, 채점자 유형, 지표, 단계별 로드맵을 설명합니다.

제목

Anthropic AI 에이전트 평가의 이해 – 모범 사례 및 로드맵

Sources