AISBench/benchmark

AISBench Benchmark は、OpenCompass に基づいて構築された AI モデル向けの評価ツールであり、その構成体系、データセット構造、モデルバックエンドと互換性があります。さらに、サービス化されたモデル（vLLM、Triton など）のサポートが拡張されています。

2 つの主要な評価カテゴリをサポートしています。

• 精度評価: サービス化されたモデルまたはローカルモデルの、QA、推論、マルチモーダルなどのベンチマークデータセット（GSM8K、MMMU、SWE-Bench など）における正確性を評価します。
• パフォーマンス評価: サービス化されたモデルの遅延、スループットを評価し、高並行性、安定したパフォーマンス、実際のトラフィックシミュレーション、prefix cache ヒット率テストなどをサポートします。

主な機能:

• マルチタスク並列処理: 複数の精度またはパフォーマンス評価タスクを同時に実行でき、効率が向上します。
• マルチモーダルサポート: 画像、ビデオ生成品質の評価（VBench、OneIG-Benchmark など）をサポートします。
• エージェント評価: SWE-Bench、τ²-Bench などのエージェントベンチマークに対応し、Docker コンテナ内での実行をサポートします。
• 豊富なデータセット: 100 以上のオープンソースデータセットが組み込まれており、カスタムデータセットもサポートしています。
• 柔軟な構成: Python 構成ファイル（推奨）またはコマンドライン引数の 2 つの方法を提供します。

インストールと使用:

• Python 3.10/3.11/3.12 をサポートし、pip インストール（pip install ais_bench_benchmark）またはソースからのインストールが可能です。
• まず、OpenAI 互換の推論サービス（vLLM など）を起動し、モデルサービスのアドレスとデータセットを指定して、ais_bench コマンドを実行すると評価を開始できます。

プロジェクトドキュメントは充実しており（ReadTheDocs）、中国語と英語のバージョンが提供されています。全体として、本番環境向けの AI モデル評価ツールとして位置付けられており、標準化された評価プロセスを必要とするチームに適しています。