microsoft/waza

CLI / Framework for Agent Skills - create, test, measure and improve skill quality and effectiveness

解决的问题

Waza 是一个用于评估 AI 代理技能的命令行界面（CLI）。它帮助开发者构建评估套件、运行基准测试，并比较不同模型的性能，以确保 AI 代理的能力保持一致且可靠。

工作原理

Waza 通过 SKILL.md 文件定义「技能」，并通过 eval.yaml 文件定义相应的评估套件，采用结构化方法。它允许用户通过 Copilot 记录实际的提示运行，生成可重用的测试任务；将这些任务在模型上执行，并使用评分器注册表对输出进行评分。它还支持 A/B 测试（基线 vs. 技能）、结果缓存以提升速度，以及对抗性测试，以检测提示注入和范围绕过问题。

适用人群

需要以标准化方式对 AI 代理技能进行基准测试、验证其对需求的覆盖度，并通过对抗性测试确保安全性的开发者。

主要亮点

  • 自动化构建：通过模板或现有技能文档，快速创建技能定义和评估套件。
  • 提示到任务记录：通过 Copilot 记录实时提示运行，生成可复用的评估任务。
  • 多模型对比：在不同模型上运行相同的评估套件，并并排比较结果。
  • 对抗性测试：内置套件，用于测试对提示注入的抗性并防止越界行为。
  • CI/CD 集成：提供退出码和 JUnit XML 报告，可无缝集成到 GitHub Actions 等流水线中。
  • 确定性检查：捕获并重放任务运行的快照，以验证一致性并定位差异。

相关

  • 项目
    tw93/Waza

    Waza 是一套轻量级的八种 AI 代理技能（例如 /think, /check, /hunt），将常见的工程习惯（规划、UI 设计、调试、代码审查、研究、摘要、写作与健康检查）编码化。通过单一 npx 指令即可安装，这些技能适用于 Claude Code, Codex, Cursor, Gemini-CLI 及其他基于 LLM 的编程辅助工具，让您能通过斜线指令与选用的防范规则来调用严谨的工作流程。

  • 项目
    mizchi/skills

    一组标准化、可移植的AI编程代理技能，涵盖从前端审查到云基础设施的任务，并配有用于测试和迭代的评估CLI。

  • 项目
    benchflow-ai/skillsbench

    一个用于评估 AI 代理如何利用和组合模块化技能（指令、脚本和资源）来执行专业工作流的基准测试。

  • 项目
    mgechev/skillgrade

    Skillgrade 是一个基于 Node.js 的评估工具，让您定义编码任务、运行 AI 编码代理（Gemini、Claude、Codex、OpenCode 或任何 ACP 兼容的 CLI），并使用确定性脚本、LLM 评分标准或人工审核者对结果进行评分。它支持多轮任务、数据集驱动的扩展、筛选，以及以 JSON、JUnit、CSV 或 Markdown 格式输出 CI 友好的报告。

  • 项目
    langwatch/better-agents

    A CLI tool and set of standards for building production-ready AI agents with standardized project structures, prompt versioning, and integrated testing.