paladini/harness-score

Your AI coding agent is only as reliable as the harness around it. Measure that harness in seconds with harness-score.

它解决了什么问题

AI 编码代理（如 Cursor、Claude Code 或 Devin）通常不可靠，因为它们缺乏结构化的“工具链”（harness）——即一套防止它们犯错或在每次会话中重新发现项目惯例的规则、指南和护栏。Harness Score 提供了一种确定性的方法来衡量此基础设施的成熟度，使团队能够识别其代理控制系统中的差距，并随时间追踪改进情况。

运作原理

该工具是一个确定性的文件系统扫描器，会分析存储库中六个维度的 36 项具体检查：上下文与指南、技能与指令、钩子与护栏、传感器与反馈、CI 反馈以及卫生与安全。它不使用 LLM 或网络请求，确保每次结果一致。基于这些检查，它会分配一个从 L0（未受控）到 L4（自我修正）的成熟度等级，并提供一份缺失或需要修复的特定文件或模式的排名清单。

目标对象

使用 AI 编码代理并希望超越“感觉编码”（vibe-coding），为自主 AI 开发建立可靠、生产就绪环境的开发人员和团队。

特色亮点

  • 确定性评分：零 LLM 调用和零网络访问，确保结果一致且可重复。
  • 成熟度阶梯：一个 5 级系统（L0–L4），根据工具链的形态和覆盖范围来限制进度。
  • CI 集成：能够使用 --min-level 标志来限制流水线，以防止成熟度倒退。
  • 可操作的诊断：每次失败的检查都会链接到特定的补救方案。
  • 多工具支持：适用于各种 AI 编码工具，包括 Cursor、Claude Code、Windsurf、Cline 和 Continue。

相关

  • 项目
    scanaislop/aislop

    aislop 是一个确定性的 CLI 工具，用于扫描 10 种编程语言中 AI 生成的“垃圾代码”（如未使用的导入、叙述性注释、死代码等），为代码库打分（0-100），支持自动修复安全问题，并可与 AI 代理、git hooks 和 CI 集成。

  • 项目
    awslabs/aidlc-workflows

    AI-DLC 是一个结构化、与工具无关的框架，它将 AI 编码助手转变为具有人工审批门控和多阶段生命周期管理的可验证、可审计的软件交付工作流。

  • 项目
    mgechev/skillgrade

    Skillgrade 是一个基于 Node.js 的评估工具，让您定义编码任务、运行 AI 编码代理（Gemini、Claude、Codex、OpenCode 或任何 ACP 兼容的 CLI），并使用确定性脚本、LLM 评分标准或人工审核者对结果进行评分。它支持多轮任务、数据集驱动的扩展、筛选，以及以 JSON、JUnit、CSV 或 Markdown 格式输出 CI 友好的报告。

  • 项目
    a5c-ai/babysitter

    一种确定性编排框架，通过严格、代码定义的工作流程来防止 AI 代理产生幻觉并确保可靠性。

  • 项目
    QoderAI/better-harness

    Better Harness 是一个开源工具，用于分析 AI 编码代理（如 Claude Code、Codex、Qoder、Cursor、GitHub Copilot 等）的完整工作流程。它收集项目与会话证据，评估“代理工作循环”（任务理解、受控执行、变更验证、可靠交付、学习捕获）的五个维度，并生成包含优先级排序、证据支持的发现与修复建议的可视化 HTML 报告。缺失的证据会被明确标示，帮助团队在享受 AI 生成代码优势的同时，提升可重复性、验证与学习能力。