CUGA 하네스, AppWorld 벤치마크에서 Hermes 및 Deep Agents보다 우수한 성능 입증
TL;DR
IBM의 오픈소스 CUGA 하네스는 동일한 GLM-5.3-flash 모델로 AppWorld 벤치마크 작업의 **81%**를 완료하여 Hermes(47%) 및 Deep Agents(30%)를 훨씬 능가했습니다. 이 결과는 엔터프라이즈 자동화에 있어 모델뿐만 아니라 하네스가 신뢰성, 규칙 적용, 배포 가능성을 결정한다는 것을 보여줍니다.
실험은 하네스의 중요성을 증명합니다
통제된 테스트에서 세 가지 인기 있는 에이전트 하네스(CUGA, Hermes, Deep Agents)를 동일한 오픈 가중치 모델(GLM-5.3-flash)로 90개의 AppWorld 작업(30개의 다중 앱 시나리오)에 걸쳐 실행했습니다. 모든 실행은 Harbor 평가 프레임워크와 동일한 작업 입력을 사용했으며, 하네스 구성만 달랐습니다. 결과는 다음과 같습니다:
| 하네스 | 작업 완료(TGC) | 시나리오 완료(SGC) |
|---|---|---|
| CUGA | 81.1% (73/90) | 66.7% (20/30) |
| Hermes | 46.7% (42/90) | 26.7% (8/30) |
| Deep Agents | 30.0% (27/90) | 6.7% (2/30) |
시나리오의 세 가지 변형이 모두 성공해야 하는 SGC 지표는 일관성을 강조합니다. CUGA는 다음으로 우수한 하네스보다 시나리오 성공률이 3배 이상 높았습니다.
"가장 유용한 숫자는 SGC입니다. 시나리오는 세 가지 변형이 모두 통과해야만 통과하므로 SGC는 운이 좋은 실행이 아닌 일관성에 보상을 줍니다. 여기서 격차는 더 큽니다: CUGA는 20개 시나리오, Hermes는 8개, Deep Agents는 2개입니다." – IBM Research 블로그
CUGA가 탁월한 이유: 주요 하네스 기능
CUGA의 아키텍처는 모델에서 하네스로 의사 결정을 오프로드하는 간결하고 반복 가능한 루프를 추가합니다:
- 작업 분해 – 다중 앱 요청을 단일 앱 단계로 분할하여 조합 도구 선택을 줄입니다.
- 집중된 도구 세트 – 각 단계는 해당 앱과 관련된 도구와 몇 가지 공유 유틸리티만 볼 수 있어 총 469개의 도구로 인한 노이즈를 피합니다.
- 도구 숏리스트 – 단계에 필요한 추가 도구를 동적으로 발견합니다.
- CodeAct 및 샌드박스 – 모델은 API를 호출하는 Python을 생성하며, 코드는 시간 제한이 있는 제한된 환경에서 실행됩니다.
- 실행 전 검증 – 상태를 변경하는 모든 코드 블록은 실행 전에 검토됩니다.
- 자동 반성 – 각 단계 후 하네스는 결과를 감사하고, 계획을 수정하며, 페이지 매김 문제를 표시합니다.
이러한 적용 지점은 잘못된 결정을 극적으로 줄이고 문제를 조기에 표면화하여 전반적인 성공률을 높입니다.
프롬프트를 넘어선 비즈니스 규칙 적용
엔터프라이즈 에이전트는 엄격한 정책(예: 지불 한도, PII 처리)을 준수해야 합니다. CUGA는 이러한 규칙을 취약한 시스템 프롬프트에서 하네스가 네 가지 실행 지점에서 적용하는 정책 계층으로 이동합니다:
| 실행 지점 | 정책 유형 | 적용 조치 | 예시 |
|---|---|---|---|
| 사용자 의도 | Intent Guard | 에이전트 작업 전에 차단 또는 응답 | 모든 고객 기록 삭제 요청 거부 |
| 에이전트 안내 | Playbook | 표준 절차 제공 | 단계별 환불 워크플로우 따르기 |
| 도구 실행 | Tool Approval | 인간 승인을 위해 일시 중지, 생성된 코드 표시 | 결제 도구 실행 전 관리자 승인 요구 |
| 도구 실행 | ToolGuard | 허용되지 않은 호출을 중단하는 하드 검사 | $1,000 초과 결제 차단 |
| 최종 응답 | Output Formatter | 승인된 템플릿에 맞게 응답 형식 지정 | 규정 준수 승인된 응답 형식 사용 |
Policy Playground 데모는 동일한 사용자 메시지가 두 가지 다른 결과를 생성하는 것을 보여줍니다: 제한이 없는 에이전트는 거부된 청구를 포함하여 $90를 지불하는 반면, 정책이 활성화된 에이전트는 승인을 위해 결제를 보류하고 승인된 $10만 지불합니다.
"'내가 갚아야 할 모든 것을 지불하라'는 요청에 대해 정책이 없는 에이전트는 추심 중인 거부된 청구를 포함하여 $90를 지불했습니다. 정책이 있는 에이전트는 승인을 위해 결제를 보류한 후, 지불해야 할 $10만 지불했습니다." – IBM Research 블로그
CUGA가 적합한 경우
CUGA는 엔터프라이즈 자동화를 위해 설계되었으며, 여기에는 다음이 포함됩니다:
- 규칙이 프롬프트에서 단순히 제안되는 것이 아니라 런타임에 적용되어야 합니다.
- 배포가 주권 경계 내에 유지되어야 합니다(프라이빗 클라우드, 에어갭 클러스터, Kubernetes, OIDC 인증).
- 비용(토큰 사용량, 도구 호출, 런타임)의 투명성이 요구됩니다.
- 팀이 코드보다 구성을 선호합니다 – 정책, 예산, 도구 세트는 UI 또는 SDK를 통해 설정되고 버전 관리됩니다.
CUGA는 또한 호스팅 모델(WebArena 2025-2025, AppWorld 2025-2026)로 공개 리더보드에서 1위를 차지하여 오픈 가중치 모델을 넘어서도 그 이점이 지속됨을 입증했습니다.
다른 하네스를 고려해야 할 경우
CUGA는 보편적인 솔루션이 아닙니다. 특수 워크로드에는 대안을 선택하십시오:
- 터미널 코딩 에이전트 – opencode, Codex 또는 Claude Code를 사용하십시오.
- 항상 켜져 있는 개인 비서 – Hermes(Nous Research)는 채팅 중심 컨텍스트에서 탁월합니다.
- 빈 캔버스 그래프 워크플로우 – LangGraph는 낮은 수준의 유연성을 제공합니다. CUGA 자체는 LangGraph 위에 구축되었습니다.
CUGA를 직접 사용해 보는 방법
- Policy Playground – 정책 적용의 대화형 데모: https://huggingface.co/spaces/ibm-research/cuga-policy-playground
- 벤치마크 재현 – 전체 평가 코드: https://github.com/cuga-project/harbor-eval
- GitHub 저장소 – 스타 및 포크: https://github.com/cuga-project/cuga-agent
- 빠른 설치 가이드 – 로컬 인스턴스 실행: https://github.com/cuga-project/cuga-agent#quick-install
IBM Research 팀은 커뮤니티가 동일한 AppWorld 작업에 대한 대체 하네스 구성을 제출하도록 초대합니다. 결과는 다시 실행되어 투명하게 게시됩니다.
보고된 연구의 한계
- 비교는 단일 벤치마크의 90개 작업만 다루므로 결과가 모든 엔터프라이즈 시나리오에 일반화되지 않을 수 있습니다.
- 하네스 설정은 세부 사항(예: 도구 숏리스트, 미들웨어)이 달라 성능에 영향을 미칠 수 있습니다.
- 벤치마크 중 정책 적용이 활성화되지 않았으므로 측정된 이점은 규칙 검사가 아닌 오케스트레이션 로직에서만 비롯됩니다.
결론
올바른 에이전트 하네스를 선택하는 것은 모델 자체를 선택하는 것만큼 중요합니다. 동일한 모델을 사용한 직접 비교 테스트에서 CUGA의 엔터프라이즈 중심 설계는 Hermes보다 두 배 이상, Deep Agents보다 거의 세 배의 작업 완료율을 달성하여 하네스 수준의 오케스트레이션, 검증 및 정책 적용이 안정적인 비즈니스급 AI 에이전트의 결정적 요소임을 입증했습니다.