EvolvingLMMs-Lab/lmms-eval
One-for-All Multimodal Evaluation Toolkit Across Text, Image, Video, and Audio Tasks
解決する課題
LMMs-Eval は、大規模マルチモーダルモデル (LMMs) を評価するための、統合的で再現可能かつ効率的なツールキットを提供します。これは、マルチモーダル評価エコシステムにおける断片化の問題に対処するものです。現状では、一貫性のない後処理や散在するデータセットにより、チーム間で信頼性の低い、あるいは再現性のない結果が生じることがよくあります。
仕組み
このツールキットは、画像、動画、音声モダリティ全体でモデルの知能を調査するための標準化されたパイプラインを実装しています。幅広いモデルバックエンド（vLLM、SGLang、OpenAI-compatible APIs を含む）をサポートし、データセットドキュメントをチャットメッセージに変換するための構造化されたプロトコルを提供します。また、評価とトレーニングを分離する HTTP 評価サーバーも提供しており、非同期のジョブ送信とリモートアクセスが可能です。
対象ユーザー
AI 研究者やモデル開発者が、最先端のマルチモーダルモデルを多様なタスクに対してベンチマークし、改善が確実かつ統計的に根拠のあるものであることを確認するために設計されています。
ハイライト
- 広範なサポート: 100 以上の評価タスクと 30 以上のモデルファミリーをサポート。
- マルチモーダル機能: 画像、動画、音声モダリティの包括的な評価。
- 高効率: 非同期サービング、適応型バッチ処理、および TorchCodec で最適化された動画 I/O により、GPU の稼働率を最大化。
- 統計的根拠: 信頼区間、クラスター標準誤差、ペア t 検定を提供し、結果の信頼性を確保。
- インタラクティブツール: 設定用の Web UI と、リモート評価ワークフロー向けのプロダクション対応 HTTP サーバーを同梱。
関連
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト
- Dispatch