NVIDIA/SkillEvaluator

Multi-tier framework for evaluating AI agent skills with quality gates, semantic overlap detection, synthetic evaluation dataset generation, and live agent evaluation that measures how skills affect agent behavior.

何を解決するか

SkillEvaluator は「エージェントスキル」——AIエージェントの能力を拡張するための指示と関連ファイル——を構造的に評価する方法を提供します。このフレームワークは、スキルが安全で、適切な構造を持ち、重複していないこと、そして実際の業務タスクにおいてエージェントのパフォーマンスを向上させることを保証します。

動作方法

このフレームワークは、スキルの検証に3段階のパイプラインを使用します。

Tier 1（検証）： セキュリティと構造に関する静的チェックを実行します。依存関係の確認、ルーブリックの検証、LLMベースのセキュリティ分析（SkillSpector や Gitleaks などのツールを使用）が含まれます。
Tier 2（重複除去）： エンベッディングを使用して、スキル内のガイダンスが既存のスキルと重複しているか、または重なりがあるかを検出します。これにより、重複を防ぎます。
Tier 3（ライブ評価）： サンドボックス環境（通常は Docker）でスキルをテストします。プロバイダーネイティブエージェントを、スキルありとなしでそれぞれ実行し、「スキルリフト」を測定することで、スキルが実際にタスクを完了するのを助けているかを判断します。

対象ユーザー

AIエージェントスキルを開発・研究している開発者や研究者。特に、カタログへの公開や本番環境へのデプロイの前に、厳密で自動化されたパイプラインでアーティファクトを検証したい人向けです。

特徴

3段階の検証： 高速な静的分析から高コストのライブ実行へと段階的に進む。
サンドボックス実行： Harbor フレームワークと統合され、Docker 上でエージェントを安全に実行可能。
スキルリフトの測定： 特定のスキルがもたらす実際のパフォーマンス向上を数値化。
合成データセット生成： 自動的にテスト用の初期評価ケースを生成可能。