ALTK-Evolve vs ACE: 동일한 학습 내용, 더 적은 토큰
요약 (TL;DR)
ALTK‑Evolve는 전체 플레이북을 항상 입력하는 대신 추론 시 가장 관련성 높은 가이드라인만 제공하기 때문에, ACE와 대등하거나 더 나은 작업 목표 달성률을 보이면서도 토큰 소비량은 약 1/4에서 1/7 수준에 불과합니다.
두 시스템의 공통점
ACE (Agentic Context Engineering)와 ALTK‑Evolve 모두 에이전트의 과거 궤적을 압축 없이 저장된 lessons(학습 내용)로 취급합니다. 각 lesson은 해당 내용을 생성한 에피소드 수를 나타내는 support count를 가진 개별 객체로 유지됩니다. 이러한 설계는 모델이 방대한 경험을 몇 개의 일반적인 규칙으로 요약하도록 강제할 때 발생하는 brevity bias(간결성 편향) 및 context collapse(문맥 붕괴) 문제를 방지합니다.
"압축하지 말고, 개수를 세어라." – ACE의 불렛 포인트별 카운터와 ALTK‑Evolve의 support count 뒤에 숨겨진 공통 원칙.
두 시스템의 차이점
메모리 구축
- ACE는 Generator → Reflector → Curator 루프를 통해 하나의 진화하는 playbook을 구축합니다. 거의 중복되는 lesson들은 클러스터링되어 병합되며, 살아남은 항목은 결합된 support count를 상속받아 경험의 기원을 보존합니다.
- ALTK‑Evolve는 각각 고유한 support count를 가진 평면적인 guidelines(가이드라인) 세트를 생성합니다. lesson들은 하나의 문서로 병합되지 않고 개별적으로 검색 가능한 상태로 유지됩니다.
전달 메커니즘 (토큰 비용의 결정 요인)
- ACE는 모델 크기나 작업 난이도에 관계없이 모든 추론 단계에서 전체 플레이북을 프롬프트에 주입합니다.
- ALTK‑Evolve는 전달 방식을 구성 가능한 다이얼로 취급합니다. 높은 support count를 가진 핵심 가이드라인 세트는 항상 포함되며, 추가 가이드라인은 코사인 유사도 또는 LLM 가이드 랭킹을 사용하여 작업별로 선택됩니다. 모델의 컨텍스트 윈도우가 충분할 때는 통합된 전체 세트를 사용할 수 있지만, 그렇지 않은 경우에는 가장 관련성 높은 하위 집합만 전송됩니다.
이러한 전달 방식의 차이가 아래에서 보고된 토큰 사용량 격차를 직접적으로 설명합니다.
AppWorld 벤치마크를 통한 실증적 비교
모든 실험은 동일한 ReAct code‑agent 기반과 동일한 작업 분할(AppWorld test_normal, 168개 작업)을 사용합니다. 결과는 단일 실행 pass@1 점수입니다.
| Model | System | TGC ↑ | SGC ↑ | Tokens per task |
|---|---|---|---|---|
| DeepSeek‑V3.2 | ACE | 80.4 / 73.2 | 634 K | |
| ALTK‑Evolve | 89.3 / 80.4 | 263 K | ||
| gpt‑oss‑120b | ACE | 54.8 / 35.7 | 777 K | |
| ALTK‑Evolve | 56.0 / 37.5 | 116 K |
더 강력한 모델(gpt‑oss-120b)에서 ALTK‑Evolve는 ACE 토큰 예산의 약 15%만 사용하면서 더 높은 TGC를 달성했습니다. 더 약한 모델(DeepSeek-V3.2)에서는 토큰 비용의 약 40%만으로 ACE의 정확도와 대등한 성능을 보였습니다.
난이도별 분석
DeepSeek‑V3.2 (Figure 1의 오른쪽 패널)
- ALTK‑Evolve가 Easy, Hard, Overall에서 승리했습니다.
- ACE가 Medium에서 근소하게 앞섭니다.
gpt‑oss‑120b (Figure 1의 왼쪽 패널)
- ACE가 Easy와 Medium에서 앞서는데, 이는 강력한 모델에게 전체 플레이북이 일반적인 지침을 제공하는 데 도움이 되기 때문입니다.
- ALTK‑Evolve는 Hard 작업에서 압도적인 성능을 보이는데, 이 작업에서는 단순한 양보다 적절한 lesson을 선택하는 것이 더 중요하며, 이 이점이 전체 점수를 끌어올립니다.
이 그림은 선택적 검색(selective retrieval)이 어려운 작업에 유익한 반면, 전체 플레이북은 더 쉽고 일반적인 하위 작업에 유리할 수 있음을 보여줍니다.
전달 방식이 중요한 이유
토큰 격차는 전적으로 전달(delivery) 단계에서 발생합니다. ACE의 고정된 크기의 주입 방식은 모델이 매 단계마다 전체 플레이북을 처리하도록 강제하여, 모델의 컨텍스트 용량과 관계없이 프롬프트 길이를 팽창시킵니다. ALTK‑Evolve의 적응형 검색은 모델이 실제로 주의를 기울일 수 있는 내용으로 프롬프트를 축소하여, 성능 저하 없이(때로는 향상시키면서) 추론 비용을 줄입니다.
추출, 통합 및 검색 파이프라인을 위해 ALTK‑Evolve library를 사용해 보거나, 상세한 절제 실험(ablations)은 전체 기술 보고서를 참조하십시오.
관련 아티팩트 및 참고 문헌
- ALTK‑Evolve introduction – https://huggingface.co/blog/ibm-research/altk-evolve
- ACE (Agentic Context Engineering) – https://arxiv.org/abs/2510.04618
- AppWorld benchmark – https://appworld.dev/appworld
- ALTK‑Evolve code – https://github.com/AgentToolkit/altk-evolve
- Full technical report – https://arxiv.org/abs/2603.10600
방법론적 세부 사항
- Benchmark: AppWorld
test_normal, 9개의 시뮬레이션 앱에 걸친 168개의 다단계 작업. - Agent: ReAct code agent (Python 생성 단계, 환경이 출력을 반환).
- Metrics: TGC (Task Goal Completion) 및 SGC (Scenario Goal Completion). 모든 프롬프트 자료를 포함하여 작업당 토큰을 계산함.
- Memory source: 학습/개발 분할에서 추출된 lesson만 사용; 인간의 라벨링은 없음.
- Baseline 차이: 두 시스템 간의 ReAct 프롬프트 템플릿이 다르며, 이로 인해 약간 다른 no‑memory 베이스라인(72.0 vs 79.8 TGC)이 발생합니다. 비교는 절대적인 베이스라인 격차가 아닌, 메모리 추가 후의 상대적 이득에 초점을 맞춥니다.
참조 테이블
DeepSeek‑V3.2 – test_normal
| System | # Guidelines | TGC | SGC | Tokens/task |
|---|---|---|---|---|
| ReAct, no memory | 0 | 79.8 | 64.3 | 148 K |
| ReAct + ACE | 106 | 80.4 | 73.2 | 634 K |
| ReAct + ALTK‑Evolve | 191 | 89.3 | 80.4 | 263 K |
gpt‑oss‑120b – test_normal
| System | # Guidelines | TGC | SGC | Tokens/task |
|---|---|---|---|---|
| ReAct, no memory | 0 | 39.9 | 21.4 | 110 K |
| ReAct + ACE (full) | full | 54.8 | 35.7 | 777 K |
| ReAct + ALTK‑Evolve (selected) | ~29 | 56.0 | 37.5 | 116 K |
gpt‑oss‑120b – 난이도별 분석 (TGC)
| Difficulty | Baseline | ACE | ALTK‑Evolve |
|---|---|---|---|
| Easy | 66.7 | 84.2 | 82.5 |
| Medium | 35.4 | 60.4 | 56.2 |
| Hard | 19.1 | 23.8 | 31.8 |
| Aggregate | 39.9 | 54.8 | 56.0 |
시사점
ACE와 ALTK‑Evolve 모두 agentic memory(에이전트 자신의 경험을 재사용 가능한 lesson으로 전환하는 것)가 가중치 업데이트 없이도 다단계 작업 성능을 향상시킨다는 것을 증명합니다. 실제 배포를 위한 결정적인 요소는 해당 lesson이 어떻게 전달되는가입니다. 정밀하게 조정된 작업 인식 검색 전략(ALTK‑Evolve)은 추론 토큰 소비를 획기적으로 줄이면서 정확도를 유지하거나 오히려 향상시킬 수 있습니다.
Sources
관련
- Dispatch
- Dispatch
- 프로젝트
- Dispatch