음성 에이전트를 위한 EVA 엔드‑투‑엔드 평가 프레임워크

TL;DR

EVA는 ServiceNow에서 출시한 새로운 엔드‑투‑엔드 평가 프레임워크로, 대화형 음성 에이전트를 작업 정확도(EVA‑A)와 사용자 경험(EVA‑X)으로 동시에 점수화하여 두 차원을 함께 포착하는 최초의 벤치마크를 제공하고, 이들 사이에 일관된 트레이드‑오프가 존재함을 보여줍니다.

소개

음성 에이전트는 두 가지 얽힌 목표를 달성해야 합니다: 사용자의 작업을 정확히 완료하는 것(정확도)과 자연스럽고 간결하며 시의적절한 음성 상호작용을 제공하는 것(경험). 기존 벤치마크는 이러한 목표를 별도로 평가해 전체 대화를 고려했을 때만 드러나는 실패를 숨깁니다. EVA는 현실적인 bot‑to‑bot 설정에서 다중 턴 음성 대화를 평가하고, 정확도용 EVA‑A와 경험용 EVA‑X라는 두 개의 고수준 점수를 제공함으로써 이 격차를 메웁니다.

배경 및 동기

현재 음성‑에이전트 벤치마크는 음성‑텍스트 변환 품질(AudioBench, SD‑Eval, VoxEval), 인지된 음성 품질(EmergentTTS‑Eval, SHEET) 또는 대화 역학(Talking Turns, Full‑Duplex‑Bench) 등 단일 구성 요소에 초점을 맞춥니다. 최근 몇몇 작업(VoiceAgentBench, CAVA)은 도구 호출 및 명령 수행을 평가하기 시작했지만, 작업 오케스트레이션과 대화 유창성을 결합한 완전한 다단계 음성 워크플로우를 평가하는 경우는 없습니다. 이러한 파편화된 평가 환경은 실제 배포에서 정확도와 경험이 어떻게 상호 작용하는지 측정할 수 없게 만들며, 통합 프레임워크의 필요성을 촉발합니다.

EVA 프레임워크

아키텍처

EVA는 다섯 가지 핵심 구성 요소를 사용해 실시간 오디오 대화를 시뮬레이션합니다:

  1. User Simulator – 고품질 TTS를 통해 현실적인 음성 입력을 생성하는 목표‑지향 대화형 AI.
  2. Voice Agent – Pipecat으로 구축되었으며, cascade(STT → LLM → TTS)와 audio‑native(S2S 또는 LALM) 파이프라인을 모두 지원하는 테스트 대상 시스템.
  3. Tool Executor – 재현 가능한 도구 응답을 제공하고 시나리오‑특정 데이터베이스를 업데이트하는 결정론적 Python 함수.
  4. Validators – 각 대화가 유효한 최종 상태에 도달했는지 자동으로 확인하고, 유효하지 않은 실행은 재생성하여 인간의 사후 라벨링 필요성을 없앱니다.
  5. Metrics Suite – 오디오 녹음, 전사본, 도구 호출 로그를 분석하는 결정론적 및 LLM‑as‑Judge 메트릭 모음.

EVA 아키텍처

데이터

초기 릴리스에는 50개의 시나리오와 15개의 도구를 포함한 합성 항공 데이터셋이 제공됩니다. 이 데이터셋은 항공권 재예약, 취소, 대기, 바우처 발행 등을 다룹니다. 각 시나리오는 다음을 정의합니다:

  • User Goal – 발신자가 달성하고자 하는 정확한 작업.
  • User Persona – 말투, 인내도, 성격 특성.
  • Scenario Database – 도구가 조회하는 백엔드 데이터.
  • Ground Truth – 성공적인 상호작용 후 데이터베이스가 가져야 할 최종 상태.

데이터셋은 Hugging Face에서 제공되며 EVA 데모 사이트를 통해 탐색할 수 있습니다.

평가 방법론

EVA는 두 가지 주요 점수와 일련의 진단 메트릭을 보고합니다.

EVA‑A: 정확도

정확도는 세 축을 따라 측정됩니다:

  • Task Completion (deterministic) – 최종 데이터베이스 상태가 Ground Truth와 일치하는지 확인합니다.
  • Faithfulness (LLM‑as‑Judge) – 에이전트의 음성 응답에서 환각, 정책 위반 또는 오해를 감지합니다.
  • Speech Fidelity (LALM‑as‑Judge) – 확인 코드, 항공편 번호, 금액 등 중요한 엔터티가 올바르게 발음되는지 평가합니다.

EVA‑X: 경험

경험은 모두 LLM‑as‑Judge를 사용해 세 보완 축으로 측정됩니다:

  • Conciseness – 전화를 사용하는 사용자가 스킴할 수 없으므로 간결하고 집중된 응답을 보상합니다.
  • Conversation Progression – 반복을 피하고 맥락을 유지하며 대화를 전진시키는 것을 보상합니다.
  • Turn‑Taking – 중단이 없고 공백 시간이 최소화된 적절한 타이밍을 보상합니다.

Pass@k 및 Pass^k

EVA는 각 시나리오당 세 번의 시도를 실행(k = 3)하고 다음을 보고합니다:

  • pass@k – 최소 하나의 시도가 성공할 확률.
  • pass^k – 세 번 모두 성공할 확률. 이 메트릭은 최고 성능과 일관성을 동시에 포착합니다.

주요 발견

  • Accuracy‑Experience Trade‑off – 20개의 평가된 시스템(프로프라이어터리 및 오픈‑소스, cascade 및 audio‑native 모두)에서 작업 완료 점수가 높을수록 경험 점수가 낮아지는 일관된 상관관계가 나타났으며, 이는 작업 성공만 측정하는 벤치마크에서는 드러나지 않았습니다.
  • Named‑Entity Transcription Errors – 확인 코드의 한 글자만 잘못 인식돼도 인증 실패와 전체 대화 붕괴를 초래했습니다.
  • Multi‑Step Workflow Fragility – 항공편 재예약 시 좌석·수하물 등 부가 서비스를 유지하는 것이 모든 구성에서 가장 흔한 실패 지점이었습니다.
  • Consistency Gap – 모든 시스템에서 pass@3와 pass^3 간 차이가 크게 나타났으며, 이는 많은 에이전트가 작업을 가끔 성공하지만 일관된 성능을 보이지 못함을 의미합니다.

초기 결과 산점도

제한 사항

  • Metric Bias – LLM‑as‑Judge 모델은 학습 데이터의 편향을 물려받아 특정 응답 스타일을 선호할 수 있으며, 이진 작업 완료 점수는 부분 점수를 반영하지 못합니다.
  • Domain & Language Coverage – 현재 릴리스는 50개의 영어 항공 시나리오만 포함하므로 다른 도메인, 언어, 억양에 일반화되지 않을 수 있습니다.
  • Simulation Fidelity – 사용자 시뮬레이터는 단일 상업용 TTS 제공자를 사용하므로 실제의 비유창성, 감정, 다양한 말투를 완전히 재현하지 못합니다. bot‑to‑bot 파이프라인은 프로덕션 수준의 지연 및 인프라 변동을 추상화합니다.
  • Resource Requirements – 전체 재현에는 TTS/ASR 서비스에 대한 상업용 API 접근이 필요하며, 지연 측정은 제공자마다 다르게 나타납니다.

향후 로드맵

  • Prosodic Quality – 발음, 리듬, 표현력을 평가하는 메트릭을 추가해 현재 LALM‑as‑Judge 점수와 인간 평가 간 낮은 정렬을 개선합니다.
  • Robustness Testing – 잡음이 섞인 오디오, 다양한 억양, 다국어 사용자, 스트레스 상황 호출자를 위한 감정 인식 평가를 도입합니다.
  • Domain Expansion – 정책 구조, 엔터티 유형, 더 긴 대화 메모리를 포함하는 추가 데이터셋을 공개합니다.
  • Error‑Analysis Tooling – 메트릭별 오류, 대표 예시, 모델 강점·약점에 대한 구조화된 요약을 자동으로 제공하는 애플리케이션을 제공합니다.
  • Leaderboard Growth – 커뮤니티 전반의 최신 음성 에이전트 성능을 추적하기 위해 공개 리더보드를 지속적으로 업데이트합니다.

감사의 글

핵심 기여자: Tara Bogavelli, Gabrielle Gauthier Melançon, Katrina Stankiewicz, Oluwanifemi Bamgbose, Hoang Nguyen, Raghav Mehndiratta, 그리고 Hari Subramani. 추가 감사: Lindsay Brin, Akshay Kalkunte, Joseph Marinier, Jishnu Nair, Aman Tiwari, Fanny Riols, Anil Madamala, Sridhar Nemala, Srinivas Sunkara, 그리고 ServiceNow PAVA와 CLAE 팀.

인용

@misc{eva-2026,
  title={A New End-to-end Framework for Evaluating Voice Agents (EVA)},
  author={Bogavelli, Tara and Gauthier Melançon, Gabrielle and Stankiewicz, Katrina and Bamgbose, Oluwanifemi and Nguyen, Hoang and Mehndiratta, Raghav and Subramani, Hari},
  year={2026},
  url={https://github.com/ServiceNow/eva}
}

Sources