NVIDIA/SkillEvaluator

解决的问题

SkillEvaluator 提供了一种结构化的方法来评估「代理技能」——即扩展 AI 代理能力的指令和辅助文件。它确保这些技能是安全的、结构良好的、无冗余的，并且在真实任务中确实能提升代理的性能。

工作原理

该框架使用三阶段流水线来审查技能：

• 一级（验证）： 执行静态检查以确保安全性和结构。包括依赖项检查、评分标准验证，以及基于 LLM 的安全分析（使用 SkillSpector 和 Gitleaks 等工具）。
• 二级（去重）： 使用嵌入（embeddings）检测技能中的指导内容是否与现有技能库中的技能重复或重叠，防止冗余。
• 三级（实时评估）： 在沙箱环境中（通常是 Docker）测试技能。运行一个与提供方原生的代理，分别在有技能和无技能的情况下，测量「技能提升」（Skill Lift），以判断该技能是否真正帮助代理完成任务。

适用人群

需要在发布到技能库或部署到生产环境前，通过严格且自动化的流水线验证其成果物的 AI 代理技能开发者和研究人员。

主要亮点

• 多级审查： 从快速的静态分析逐步过渡到高成本的实时执行。
• 沙箱执行： 与 Harbor 框架集成，可在 Docker 中安全运行代理。
• 技能提升测量： 量化特定技能带来的实际性能提升。
• 合成数据集生成： 可自动创建用于测试的初始评估案例。