open-compass/opencompass

解決する課題

OpenCompass は、大規模言語モデル (LLMs) および視覚言語モデルの品質と有効性を評価するための統一されたワンストッププラットフォームを提供します。多数のデータセットとモデル構成を単一のワークフローに統合することで、断片化された評価スクリプトを管理する必要性を排除します。

仕組み

このプラットフォームは、データセットとモデルの構成、推論、評価、結果の要約を含む完全な評価パイプラインを管理します。vLLM、LMDeploy、HuggingFace などのさまざまな推論バックエンドを使用した、ローカルのオープンソースモデルと API ベースのモデルの両方をサポートしています。システムは、zero-shot、few-shot、chain-of-thought、LLM-as-judge などのさまざまな評価戦略を処理でき、大規模なワークロードを処理するための分散実行もサポートしています。

対象ユーザー

推論、コーディング、科学、安全性における能力を評価するために、標準化されたデータセットに対して NLP モデルやマルチモーダルモデルのベンチマークを行う必要がある研究者やエンジニア向けに設計されています。

主な特徴

• 広範な統合: 100以上のデータセットと、OpenAI、Anthropic、Gemini、DeepSeek、Qwen などのプロバイダーによる幅広いモデルをサポートしています。
• マルチモーダル対応: VLMEvalKit を統合し、テキストのみのデータセットと視覚言語データセットの両方を単一のワークフローで評価できます。
• 柔軟な推論: 複数のバックエンド（vLLM、LMDeploy、HuggingFace）と互換性があり、並列または分散実行をサポートしています。
• 多様な評価手法: ルールベースの評価、LLM-as-judge、および順次評価パイプラインのための CascadeEvaluator が含まれています。