fstandhartinger/jevbench

解決する問題

JevBench は、AI 意思決定モデルを評価しランク付けする標準化された方法を提供します。生の知能だけでなく、モデルが自身の自信をどの程度理解しているか、応答速度、実行コストも評価することで、異なるシステム間での一貫したパフォーマンス測定のニーズに対応します。

仕組み

JevBench は、固定され相互レビューされた意思決定タスクのセットを使用してモデルを評価します。知能（偶然性を補正した正確度）、キャリブレーション（モデルの自信が実際の正確度とどの程度一致するか）、速度（レイテンシ）、コスト（1,000 回の意思決定あたりの価格）の 4 つの主要軸を測定します。これらの指標は、加重調和平均を使用して複合スコアに結合されます。ベンチマークは、公開タスクと保留（非公開）タスクの両方を使用して、モデルが特別に訓練されていないデータでテストされることを保証します。

対象読者

このプロジェクトは、さまざまな AI 意思決定モデルのパフォーマンス、効率、信頼性を比較する必要がある開発者、研究者、AI 実務者を対象としています。Jev 互換システムを扱う人や、モデルのトレードオフに関するデータ駆動型の洞察を求める人に特に役立ちます。

ハイライト

• 知能、キャリブレーション、速度、コストの 4 つの異なる軸でモデルを評価します。
• 特定のパフォーマンス下限を下回るモデルにペナルティを課す複合スコアリング方法を使用します。
• バージョン管理された方法論を備えた透明なリーダーボードを維持し、歴史的な比較可能性を確保します。
• 生の推論能力と、レイテンシやコストなどの本番対応指標を区別します。
• 再現可能な結果のための明確なデータカードとマニフェストファイルを提供します。