sierra-research/tau2-bench

解决的问题

在现实世界的多轮客户服务场景中评估AI智能体非常困难，因为它需要模拟复杂的、有状态的环境，智能体必须在其中使用工具并与用户交互。本项目提供了一个标准化、可复现的框架，用于基准测试智能体在文本或全双工语音交互中的表现。

工作原理

该框架模拟了一个“双重控制”环境，AI智能体在此环境中与模拟用户进行交互。它提供了特定的领域（如航空、零售和电信），定义了智能体可用的工具、用户的目标以及智能体必须遵循的策略。它支持基于文本的轮流对话和实时的全双工语音交互。模拟运行后，框架会使用自动评判员根据任务完成度、自然度和语音保真度等指标对智能体进行评分。

适用人群

本项目适用于构建对话式智能体的AI研究人员和开发人员，他们需要针对标准化、具有挑战性的多语言客户服务任务对模型进行严格测试。

亮点

• 多模态评估： 支持基于文本和全双工语音的智能体测试。
• 多语言支持： 包含英语、西班牙语、葡萄牙语、印地语、中文和韩语的任务集和语言包。
• 专业领域： 提供针对航空、零售、电信、银行知识检索和实体提取（录入）的特定测试环境。
• 自动评分： 使用事后LLM评判员来评估智能体性能，包括自然度和工具使用准确性。