EleutherAI/lm-evaluation-harness

解決する問題

生成言語モデルを多種多様な評価タスクにわたってテストするための統一フレームワークを提供します。これにより、新しいモデルごとにベンチマークを手動で実装する必要がなくなり、結果が再現可能で、異なる研究論文や組織間で比較可能であることが保証されます。

仕組み

ハーネスは、言語モデルと学術ベンチマークの間の標準化されたインターフェースとして機能します。Hugging Face transformers、vLLM、NVIDIA NeMo、商用API（OpenAIなど）を含む多種多様なモデルバックエンドをサポートし、それらを60以上の標準的な学術ベンチマークに適用します。トークン化、バッチ処理、推論（マルチGPUシャーディングやテンソル並列処理を含む）の複雑さを処理し、選択されたタスクのパフォーマンスメトリクスを計算します。

対象読者

業界標準のデータセットに対して自社のLLMの能力を厳密にベンチマークする必要があるAI研究者、開発者、組織（NVIDIAやCohereなど）。

ハイライト

• 広範なベンチマークライブラリ: 数百のサブタスクを持つ60以上の標準的な学術ベンチマークを含みます。
• 幅広いモデルサポート: Hugging Face、vLLM、GPT-NeoX、Megatron-DeepSpeed、およびさまざまな商用APIと互換性があります。
• 柔軟なインフラストラクチャ: データ並列評価、accelerateによるモデルシャーディング、ネイティブPyTorchテンソル並列処理をサポートします。
• Llama.cpp統合: Hugging Faceバックエンドとllama-server OpenAI互換エンドポイントの両方を介してGGUFモデルをサポートします。
• カスタマイズ性: カスタムプロンプト、評価メトリクス、およびモデルバックエンドとフィルタのプラグインベースの登録を可能にします。