modelscope/evalscope

A streamlined and customizable framework for efficient large model (LLM, VLM, AIGC) evaluation and performance benchmarking.

解決する課題

EvalScopeは、大規模言語モデル（LLM）およびその他のAIモデルの評価を簡素化するために設計された包括的なフレームワークです。モデルの能力測定、負荷条件下での推論パフォーマンスのテスト、および結果の可視化のための統一されたインターフェースを提供し、複数の異なる評価ツールを実行する必要性を排除します。

仕組み

EvalScopeは、複数のバックエンド（OpenCompass、VLMEvalKit、RAGEvalなど）と、業界標準のベンチマーク（MMLU、C-Eval、GSM8Kなど）の膨大なライブラリを統合したワンストップの評価ハブとして機能します。OpenAI互換APIまたはローカルモデルファイル経由でのモデル評価をサポートしています。高度なユースケース向けには、Dockerサンドボックスとプラグ可能な戦略を使用して、制御されたマルチターンループ内でベンチマークを実行する「Agent Evaluation Mode」が含まれています。また、Time to First Token (TTFT) や Time Per Output Token (TPOT) などの指標を測定するためのパフォーマンス・テスト・モジュールも備えています。

対象者

このツールは、評価パイプラインの標準化、さまざまなドメインにわたる異なるモデルの比較、または本番環境への導入に向けたモデルサービスの負荷テストを必要とするAI開発者、研究者、およびモデルプロバイダーを対象としています。

ハイライト

幅広いモデルサポート: LLM、Vision Language Models (VLM)、Embeddings、Rerankers、およびAIGCモデルを評価します。
Agentic Evaluation: SWE-benchのようなベンチマーク向けに、完全なトレース記録と可視化を備えたマルチターン・エージェント・ループをサポートします。
uma Arena Mode: モデル間のペア比較（pairwise battles）を可能にし、直感的にランキング付けを行います。
パフォーマンス負荷テスト: モデルサービスの推論効率とスループットを測定します。
インタラクティブ・ダッシュボード: 多角的なモデル比較と詳細な予測検査のための、ReactベースのWebUI。
拡張可能なアーキテクチャ: 開発者がカスタムデータセット、モデル、および指標を簡単に追加できるようにします。