ALTK-Evolve: 학습된 메모리가 프론티어 모델 없이 고객 서비스 작업에서 τ²-bench 리더보드 1위를 차지하는 방법

학습된 메모리는 가중치 업데이트 없이 에이전트 성능을 향상시킵니다

ALTK-Evolve는 성공 및 실패한 작업 궤적을 일련의 행동 지침으로 자동 추출하여 고객 서비스 에이전트가 τ²-bench 리더보드에서 최고 수준의 성능을 달성할 수 있도록 합니다. 이러한 지침은 에이전트의 시스템 프롬프트에 추가되어, 미세 조정(fine-tuning), 인간의 주석 작업 또는 기본 모델 가중치 수정 없이도 모델의 신뢰성과 정확성을 향상시킵니다.

이 접근 방식을 사용하여 gpt-4.1 기반의 기본 ReAct 에이전트는 2026년 10월 12일 기준으로 τ²-bench의 소매 도메인에서 67.5%의 Pass^4 점수를 달성했습니다. 이 성능은 합성 데이터로 미세 조정된 시스템을 포함하여 리더보드의 다른 모든 소매 도메인 항목을 능가하며, 프롬프트 수준의 메모리가 구형 모델과 프론티어 시스템 간의 성능 격차를 효과적으로 메울 수 있음을 보여줍니다.

방법론: 에이전트 궤적에서 지침 추출

ALTK-Evolve는 에이전트의 훈련 작업 시도를 분석하는 자기 개선 루프로 작동합니다. 이 시스템은 에이전트를 구동하는 동일한 LLM을 사용하여 성공 및 실패한 상호 작용에서 인증 프로토콜, 거래 확인 단계, 반품 처리 절차와 같은 특정 행동 규칙을 추출합니다. 이러한 규칙은 마크다운 형식의 목록으로 통합되어 후속 작업을 위해 에이전트의 시스템 프롬프트에 추가됩니다.

이러한 지침을 추가함으로써 에이전트는 도메인별 정책과 모범 사례를 강제하는 "플레이북"을 얻게 됩니다. 이 과정은 완전히 자동화되어 규칙을 선별하기 위한 인간의 개입이 필요하지 않으며, 지침은 일반화를 보장하기 위해 보류된 테스트 세트 전반에 걸쳐 일관되게 적용됩니다.

성능 및 신뢰성 향상

지침은 에이전트의 역량(평균 정확도)과 신뢰성(Pass^4)을 모두 향상시킵니다. 소매 도메인에서 "무손실(lossless)" 구성(추출된 모든 지침을 통합)은 기준선 대비 Pass^4를 10% 포인트 향상시켰습니다. 항공 도메인에서는 무손실 구성이 정확도를 향상시켰지만, 더 간결한 "sup3" 코어(지원 ≥ 3인 지침)가 가장 높은 신뢰성을 제공했으며, 이는 최적의 지침 양이 도메인에 따라 다름을 나타냅니다.

중요한 점은 이러한 성능 향상이 더 길고 복잡한 대화라는 비용을 치르지 않는다는 것입니다. 분석에 따르면 ALTK-Evolve 지침을 사용하는 에이전트는 실제로 기준 에이전트보다 약간 더 적은 턴으로 작업을 완료하여 종단 간 지연 시간을 단축합니다. 프롬프트 길이 증가로 인해 입력 토큰 비용이 상승하지만, 이러한 비용은 프롬프트 캐싱을 사용하여 프로덕션 환경에서 크게 완화될 수 있습니다.

모델 계층 전반에 걸친 적용 가능성

학습된 지침은 프론티어 모델에 적용될 때도 상당한 이점을 제공합니다. gpt-5.5로 구동되는 항공 에이전트를 테스트했을 때, 학습된 지침을 추가하자 Pass^4 점수가 15% 포인트 향상되어 82.0%의 성공률로 리더보드 1위를 차지했습니다. 이는 ALTK-Evolve가 단순히 약한 모델을 위한 패치가 아니라, 다양한 모델 아키텍처 전반에서 에이전트 행동을 향상시키기 위한 강력한 프레임워크임을 확인시켜 줍니다.