UKGovernmentBEIS/inspect_evals

解決する課題

フロンティア AI モデル向けの標準化された評価ライブラリを提供し、開発者や研究者が一貫した方法でモデルの能力を測定し、リスクや緩和策を評価できるようにします。

仕組み

Inspect AI フレームワーク上に構築されており、事前定義された評価タスク（ARC Easy や ARC Challenge など）のコレクションが含まれています。ユーザーはコマンドラインインターフェースを介して、または Python オブジェクトとしてインポートすることでこれらの評価を実行し、テスト対象のモデルプロバイダー（OpenAI、Anthropic、Google など）を指定できます。

対象ユーザー

確立されたデータセットやリスク評価に基づいてフロンティア AI モデルをベンチマークする必要がある AI 研究者、セキュリティエンジニア、開発者。

ハイライト

• 幅広いモデルサポート: OpenAI、Anthropic、Google、Mistral、Azure AI、AWS Bedrock、Together AI、Groq、Hugging Face、vLLM、Ollama を含む多数のプロバイダーと互換性があります。
• 統合ツール: 評価結果を分析するためのログビューアと、ログの検査を容易にする VS Code 拡張機能が含まれています。
• 柔軟な実行: 単一の評価の実行、複数のタスクの同時実行、または Python を介したプログラムによる実行をサポートしています。
• 拡張可能なレジストリ: ユーザーは独自の評価を Inspect Evals Register に追加して、コミュニティと共有できます。