alibaba/skill-up

解决的问题

skill-up 为评估和提升 AI 代理的能力（技能）提供了一种结构化的方法。它用声明式框架取代了临时测试，能够衡量代理在特定案例中的行为，检查回归问题，并自动化环境和工作区的设置。

工作原理

该工具使用 CLI 运行在 YAML 文件中定义的声明式评估案例。它会配置必要的运行环境（本地、Docker 或 OpenSandbox），安装目标技能或 MCP 服务器，并执行代理引擎。然后使用基于规则、脚本或代理的裁判对结果进行评分，并生成结构化报告（JSON、HTML、JUnit）。

此外，它还包含 skill-upper，一个 AI 驱动的技能，可实现“评估到进化”循环。用户可以通过与代理对话来识别失败，自动修复或扩展评估套件，并迭代改进技能实现，直到达到期望的行为。

适用人群

专为需要可重复、有证据支持的方法来验证其代理能否执行特定任务并处理仓库级变更而不破坏现有功能的 AI 代理和“技能”开发者设计。

主要亮点

• 评估到进化循环：使用 skill-upper 诊断失败，并通过自然语言对话进化评估套件。
• 声明式配置：环境、引擎和案例在 YAML 中定义，确保可重复性。
• 多引擎支持：兼容多种代理引擎，包括 Claude Code、Codex 和 Qoder CLI。
• 环境配置自动化：自动设置工作区、仓库固定数据和运行时环境。
• CI 就绪：包含 GitHub Action，可在持续集成流水线中跨多个引擎运行评估。