microsoft/waza

CLI / Framework for Agent Skills - create, test, measure and improve skill quality and effectiveness

何を解決するか

Waza は AI エージェントのスキルを評価するためのコマンドラインインターフェース (CLI) です。開発者が評価スイートを構築し、ベンチマークを実行し、異なるモデルのパフォーマンスを比較することで、AI エージェントの能力が一貫性と信頼性を持つことを保証します。

動作方法

Waza は「スキル」（SKILL.md ファイル経由）と対応する評価スイート（eval.yaml ファイル経由）を構造化された方法で定義します。ユーザーは Copilot を通してライブのプロンプト実行を記録し、テストタスクを生成できます。これらのタスクをモデルに対して実行し、グレーダーレジストリを使用して出力を評価します。また、A/B テスト（ベースライン対スキル）、結果のキャッシュ（高速化）、およびプロンプトインジェクションや範囲外動作の回避を検証するための敵対的テストもサポートしています。

対象ユーザー

AI エージェントを開発している開発者で、エージェントのスキルを標準化された方法でベンチマーク化し、要件に対するカバレッジを検証し、敵対的テストを通じて安全性を確保したい人。

主な特徴

  • 自動構築: テンプレートや既存のスキルドキュメントから、スキル定義と評価スイートを迅速に作成可能。
  • プロンプトからタスク記録: Copilot を通じてライブプロンプト実行を記録し、再利用可能な評価タスクを生成。
  • マルチモデル比較: 異なるモデルで同じ評価スイートを実行し、結果を横並びで比較可能。
  • 敵対的テスト: プロンプトインジェクションへの耐性と範囲外動作の防止を検証するための組み込みパック。
  • CI/CD 統合: GitHub Actions などのパイプラインにスムーズに統合できるための終了コードと JUnit XML レポートを提供。
  • 決定性チェック: タスク実行のスナップショットをキャプチャし、再実行して一貫性を検証し、差分を特定可能。

関連

  • プロジェクト
    tw93/Waza

    Wazaは、一般的なエンジニアリング習慣（計画、UI設計、デバッグ、コードレビュー、リサーチ、要約、ライティング、ヘルスチェック）をコード化した8つの軽量なAIエージェントスキル（例: /think, /check, /hunt）のセットです。単一のnpxコマンドでインストールでき、Claude Code、Codex、Cursor、Gemini-CLIなどのLLMベースのコーディングアシスタントで動作します。スラッシュコマンドとオプションのガードレールルールを使用して、規律あるワークフローを呼び出すことができます。

  • プロジェクト
    mizchi/skills

    AIコーディングエージェント向けの標準化された移植可能なスキル集で、フロントエンドレビューからクラウドインフラまでをカバーし、テストと反復のための評価CLIを備えています。

  • プロジェクト
    benchflow-ai/skillsbench

    AIエージェントが指示、スクリプト、リソースといったモジュール化されたスキルをどのように活用し、組み合わせて専門的なワークフローを実行するかを評価するベンチマーク。

  • プロジェクト
    mgechev/skillgrade

    Skillgrade は、Node.js ベースの評価ハーネスで、コーディングタスクを定義し、AI コーディングエージェント（Gemini、Claude、Codex、OpenCode、または ACP 互換の CLI）を実行し、決定的スクリプト、LLM ルーブリック、または人間のレビュアーで結果を採点できます。マルチターンタスク、データセット駆動の拡張、フィルタリング、JSON、JUnit、CSV、Markdown での CI フレンドリーなレポートをサポートしています。

  • プロジェクト
    langwatch/better-agents

    A CLI tool and set of standards for building production-ready AI agents with standardized project structures, prompt versioning, and integrated testing.