huggingface/lighteval

何を解決するか

Lightevalは、さまざまなバックエンドで大規模言語モデル（LLM）を評価するための統合ツールキットを提供します。複雑なベンチマークを手動で設定する必要がなく、多数の事前に定義されたタスクと、特定のニーズに合わせたカスタム評価メトリクスやタスクの作成の柔軟性を提供します。

仕組み

このライブラリは、モデルのホスティング方法に関係なく接続できる評価レイヤーとして機能します。Accelerate、vLLM、SGLangを介したローカルGPU実行、Nanotronを介した分散環境、Hugging Face Inference Endpoints、TGI、LiteLLMを介したリモートAPIエンドポイントなど、さまざまな環境に対応する複数のエントリポイントをサポートしています。ユーザーはコマンドラインインターフェースまたはPython APIを通じて、メモリにロード済みのモデルに対して評価を実行できます。

対象ユーザー

業界標準のデータセットに対してLLMをベンチマークしたい、または専門的・多言語的・ドメイン特化タスクにおけるモデルのパフォーマンスを検証したいAI研究者や開発者向けに設計されています。

主な特徴

• 広範なタスクライブラリ: 一般知識、数学、コーディング、指示の理解、基本的な言語理解をカバーする1,000以上の評価タスクをサポート。
• 広範なバックエンド対応: 複数の推論エンジンおよびAPIプロバイダーと互換性があります。
• 多言語対応: アラビア語、フランス語、ドイツ語、中国語、ロシア語などを含む数十の言語のベンチマークを含みます。
• 詳細なデバッグ: サンプルごとの結果を保存し、モデルがどこで失敗しているかを正確に分析できます。
• カスタマイズ可能: カスタムタスクやメトリクスを簡単に実装できます。