groq/openbench

何を解決するか

openbench は、大規模言語モデル（LLM）のベンチマークを実行するための、プロバイダーに依存しないオープンソースのインフラです。分散した不整合な評価プロセスの問題を解決し、特定のモデルプロバイダーに縛られることなく、幅広いタスクに対して標準化され、再現可能な方法でモデルをテストできるようにします。

仕組み

Inspect AIフレームワークの上に構築された openbench は、MMLU、GPQA、HumanEval を含む 95 以上のベンチマークをカレントライブラリとして提供し、bench というシンプルな CLI ツールで実行できます。Groq、OpenAI、Anthropic、Ollama などのローカルオプションを含む 30 以上のモデルプロバイダーをサポートしており、API キーやローカル設定を使って、同じ評価スイートを異なるモデルで実行できます。また、ローカルの評価ファイルに直接接続できる機能により、プライベート評価も可能になります。

対象ユーザー

数学、コーディング、推論など多様な分野における LLM のパフォーマンスを評価し、一貫した手法で異なるプロバイダーのモデルを比較したい AI 開発者や研究者に最適です。

特徴

• 広範なプロバイダー対応: 30 以上のモデルプロバイダーをそのまま利用可能。
• 豊富なベンチマークライブラリ: 知識、科学、長文記憶をカバーする 95 以上のベンチマークを含む。
• シンプルな CLI: ベンチマークのリスト表示、実行、結果の表示をスムーズに行えるコマンド。
• 拡張性のあるアーキテクチャ: Python のエントリポイントを介したプラグインシステムにより、カスタムベンチマークをパッケージとして配布可能。
• Hugging Face 連携: 評価結果を直接 Hugging Face データセットにプッシュできる機能。