Tencent-Hunyuan/CL-bench

解決する課題

CL-benchは、言語モデルが推論時に提供されたコンテキストから、未知の新しい情報をどれだけうまく学習できるかを評価するという課題に取り組みます。静的な知識検索を超えて、プロンプトで提供された新しいルール、手順、およびドメイン固有の知識を統合し、適用するモデルの能力を測定します。

仕組み

このプロジェクトは、専門家によってアノテーションされたタスクで構成されるCL-benchとCL-bench Lifeという2つのデータセットを提供します。各タスクには、システムプロンプト、新しい情報を含むコンテキスト、および一連の評価基準が含まれています。評価パイプラインはこれらのタスクでモデルを実行し、判定モデル（例：GPT-5.1）を使用して、出力が定義されたすべての評価基準を満たしているかを検証します。モデルが関連するすべての評価基準をクリアした場合にのみ、タスクは解決されたとみなされます。

対象ユーザー

複雑で現実的、かつドメイン固有のシナリオに対して、大規模言語モデルの推論能力とインコンテキスト学習能力をベンチマークする必要があるAI研究者および開発者を対象としています。

ハイライト

• 包括的な評価: 1,899件の専門的/ドメイン固有のタスクと、グループチャットやアクティビティログなどの405件の現実的なシナリオが含まれています。
• 専門家によるアノテーション: すべてのタスクはドメイン専門家によって検証されており、専門ベンチマークではコンテキストあたり平均63.2個の評価基準が設定されています。
• 標準化されたパイプライン: 推論と評価のためのすぐに使えるPythonスクリプトを提供し、OpenAIおよびカスタムAPIエンドポイントの両方をサポートしています。
• 透明性の高いスコアリング: モデルが成功するためにはすべての評価基準を満たす必要がある厳格な二値評価手法を採用しており、高品質なパフォーマンス測定を保証します。