sierra-research/tau2-bench

解決する課題

現実世界のマルチターンなカスタマーサービスシナリオでAIエージェントを評価することは、エージェントがツールを使用しユーザーと対話する必要がある複雑でステートフルな環境をシミュレートする必要があるため、困難です。このプロジェクトは、テキストまたは全二重音声のいずれかを介して、エージェントがこれらの対話をどの程度うまく処理できるかをベンチマークするための、標準化された再現可能なフレームワークを提供します。

仕組み

このフレームワークは、AIエージェントがシミュレートされたユーザーと対話する「デュアルコントロール」環境をシミュレートします。航空、小売、通信などの特定のドメインを提供し、エージェントが利用可能なツール、ユーザーの目標、およびエージェントが従うべきポリシーを定義します。テキストベースのターン制対話とリアルタイムの全二重音声対話の両方をサポートしています。シミュレーション実行後、フレームワークは自動化されたジャッジを使用して、タスク完了度、自然さ、音声忠実度などの指標でエージェントをスコアリングします。

対象読者

このプロジェクトは、標準化された困難な多言語カスタマーサービスタスクに対してモデルを厳密にテストする必要がある、会話型エージェントを構築するAI研究者および開発者を対象としています。

ハイライト

• マルチモーダル評価： テキストベースおよび全二重音声エージェントのテストの両方をサポート。
• 多言語サポート： 英語、スペイン語、ポルトガル語、ヒンディー語、中国語、韓国語のタスクセットと言語パックが含まれています。
• 専門ドメイン： 航空、小売、通信、銀行の知識検索、およびエンティティ抽出（インテーク）のための特定のテスト環境を提供します。
• 自動スコアリング： 事後LLMジャッジを使用して、自然さやツール使用の正確性を含むエージェントのパフォーマンスを評価します。