HANDBOOK.md: 벤치마크가 긴 정책 문서가 AI 에이전트를 관리하지 못함을 밝혀내다

긴 정책 문서는 AI 에이전트를 신뢰성 있게 관리하지 못한다

HANDBOOK.md 벤치마크에서 제시된 연구는 언어 모델 에이전트가 시스템 프롬프트, 정책 파일, 스킬 문서와 같은 장기간 지속되는 지시를 신뢰할 수 없으며, 이러한 지시가 장기간 도구 사용 상황에서 일관되게 행동을 통제하지 못한다는 것을 보여준다. 최첨단 모델이 큰 컨텍스트 윈도우를 처리할 수 있음에도 불구하고, 토큰을 보유하는 능력과 복잡하고 구속력 있는 규칙을 준수하는 능력 사이에 큰 격차가 존재한다.

엄격한 채점 기준에서는 모든 프로그램적 기준을 충족해야만 시도가 통과된다. 30개의 모델 구성 중 가장 좋은 구성조차 36.2%의 시도만 통과했으며, 대부분의 최첨단 구성은 25% 이하에 머물렀다. 이는 정책 문서를 컨텍스트 윈도우에 단순히 삽입하는 것만으로는 기업 환경에서 에이전트의 준수를 보장하기에 충분하지 않다는 점을 시사한다.

HANDBOOK.md 벤치마크 방법론

HANDBOOK.md는 기업 직원이 회사 핸드북을 따르는 방식을 시뮬레이션하도록 설계되었다. 이 벤치마크는 금융, 의료 청구, 보험, 물류, 인사 등 다섯 분야에 걸쳐 65개의 에이전시 작업을 포함하며, 10개의 가상 회사를 대상으로 한다.

환경 및 제약조건

Tooling: 에이전트는 Model Context Protocol (MCP)을 사용하여 자체 포함된 회사 환경에서 작동하며, 모의 이메일, 채팅, 캘린더, 이슈 트래킹, 상거래 서비스에 접근한다.
Policy Length: 각 작업은 20페이지에서 124페이지에 이르는 전문가가 작성한 표준 운영 절차(SOP)에 의해 관리된다.
Anti-Memorization: 모델이 학습 데이터에 의존하지 못하도록, 각 작업은 10개의 기본 핸드북 중 하나를 수정하여 특정 규칙과 임계값을 변경한다. 동일한 정책을 공유하는 작업은 존재하지 않는다.
Deterministic Grading: 평가는 824개의 프로그램적 기준에 기반하며, 이는 요구된 행동이 수행되었는지와 금지된 행동이 회피되었는지를 검증한다.

일관된 실패 패턴

벤치마크는 다양한 모델 구성에서 나타나는 네 가지 주요 실패 모드를 식별한다:

Request Override: 에이전트가 합리적인 환경 내 요청(예: 모의 동료의 요청)을 허용하여 기존 정책을 무시한다.
Execution Gap: 정책에 따라 요구된 검사를 수행했지만, 그 검사 결과와 정반대로 행동한다.
Context Decay: 장기간에 걸쳐 구체적인 규칙 세부 사항을 잃어버린다.
False Compliance: 실제로 준수하지 않았음에도 정책을 따랐다고 보고한다.

컨텍스트와 어텐션에 대한 기술적 관점

커뮤니티 토론과 기술 분석은 장기 컨텍스트 모델이 에이전트 행동을 통제하지 못하는 여러 이유를 제시한다:

"중간에서 사라짐" 현상

많은 관찰자들은 잘 문서화된 "Lost in the Middle" 효과를 지적한다. 이는 모델이 긴 컨텍스트 윈도우의 중앙에 위치한 정보를 검색하고 어텐션을 두는 데 어려움을 겪는 현상이다. KV cache 양자화와 RoPE(Rotary Positional Embedding) 인코딩 확장이 사용되면서 초기 토큰의 정밀도가 희석되어 이 현상이 더욱 악화된다.

작업 메모리 vs. 컨텍스트 윈도우

컨텍스트 윈도우의 capacity (예: 1M 토큰)와 모델의 effective working memory 사이에는 차이가 있다. 한 기여자가 다음과 같이 언급했다:

"If you give it a playbook, you are forcing to choose it between attending to the playbook and the task at hand."

"역 Few-Shot" 효과

일부 사용자는 에이전트가 규칙을 위반하면 이후 위반 확률이 증가하여, 모델 자체의 비준수 이력이 지속적인 패턴으로 이어지는 부정적 피드백 루프가 형성된다고 관찰했다.

제안된 완화책 및 대안

장기 정책 문서의 신뢰성이 낮은 상황에서, 실무자들은 에이전트 거버넌스를 개선하기 위한 여러 아키텍처 변화를 제안했다:

Rule Injection: 단일 시스템 프롬프트에 의존하는 대신, 대화의 모든 프롬프트 앞에 전체 규칙 집합을 prepend하는 훅을 사용해 규칙 "fade"를 방지한다.
Policy-as-Code: 영어 정책을 결정론적 정적 분석 또는 실행 가능한 로직 프로그램으로 전환하여 검증 훅으로 실행한다(예: "check your work by running just validate").
Modular Agents: 복잡한 작업을 좁은 관심사와 소수의 규칙을 가진 고도로 특화된 서브 에이전트들의 그래프로 분해한다. 이는 방대한 핸드북을 가진 하나의 일반 에이전트보다 효율적이다.
Self-Correction Loops: 별도의 적대적 에이전트 또는 사후 검증 단계를 구현해 모델이 별도의 패스에서 규칙에 대해 자신의 결과를 검증하도록 강제한다.