sierra-research/tau2-bench

해결하는 문제

실제 환경의 다중 턴 고객 서비스 시나리오에서 AI 에이전트를 평가하는 것은 에이전트가 도구를 사용하고 사용자와 상호 작용해야 하는 복잡하고 상태 유지(stateful) 환경을 시뮬레이션해야 하므로 어렵습니다. 이 프로젝트는 텍스트 또는 전이중 음성을 통해 에이전트가 이러한 상호 작용을 얼마나 잘 처리하는지 벤치마킹할 수 있는 표준화되고 재현 가능한 프레임워크를 제공합니다.

작동 방식

이 프레임워크는 AI 에이전트가 시뮬레이션된 사용자와 상호 작용하는 "이중 제어" 환경을 시뮬레이션합니다. 항공, 소매, 통신과 같은 특정 도메인을 제공하여 에이전트가 사용할 수 있는 도구, 사용자의 목표, 에이전트가 따라야 할 정책을 정의합니다. 텍스트 기반의 턴제 대화와 실시간 전이중 음성 상호 작용을 모두 지원합니다. 시뮬레이션 실행 후, 프레임워크는 자동화된 판정자를 사용하여 작업 완료도, 자연스러움, 음성 충실도와 같은 지표로 에이전트의 점수를 매깁니다.

대상 사용자

이 프로젝트는 표준화되고 도전적인 다국어 고객 서비스 작업에 대해 모델을 엄격하게 테스트해야 하는 대화형 에이전트를 구축하는 AI 연구원 및 개발자를 위한 것입니다.

주요 특징

• 멀티모달 평가: 텍스트 기반 및 전이중 음성 에이전트 테스트를 모두 지원합니다.
• 다국어 지원: 영어, 스페인어, 포르투갈어, 힌디어, 중국어, 한국어에 대한 작업 세트와 언어 팩이 포함되어 있습니다.
• 전문 도메인: 항공, 소매, 통신, 은행 지식 검색 및 엔티티 추출(인테이크)을 위한 특정 테스트 환경을 제공합니다.
• 자동 채점: 사후 LLM 판정자를 사용하여 자연스러움과 도구 사용 정확도를 포함한 에이전트 성능을 평가합니다.