llm-as-a-verifier/llm-as-a-verifier

LLM-as-a-Verifier is a general-purpose framework that provides fine-grained feedback for any agent without requiring additional training. It achieves SOTA performance across coding, robotics, and medical agentic benchmarks.

解决的问题

LLM-as-a-Verifier 提供了一个统一的框架，为跨任何模态的 AI 代理提供细粒度的反馈和评分。它解决了“LLM-as-a-Judge”评分过于粗糙的问题，通过使用 logprob 分布来创建更精确的奖励信号，进而可用于测试时扩展 (test-time scaling)、进度追踪和强化学习。

运作原理

该框架通过三个主要机制运作：

  1. 细粒度奖励估计：它不使用单一离散分数，而是通过对分数 token 的完整 logprob 分布取期望值来计算奖励，从而对轨迹进行更细致的评估。
  2. 概率枢纽锦标赛 (PPT)：为了在不产生 $O(N^2)$ 循环赛成本的情况下有效排序 $N$ 个候选轨迹，PPT 使用一组小型“枢纽 (pivots)”将复杂度降低至 $O(Nk)$。
  3. 前缀缓存优化：为了降低 API 成本和延迟，该框架对提示词进行结构化，使任务和轨迹成为共享前缀，从而显著提高重复评估的缓存命中率。

适用对象

  • AI 代理开发者：希望通过 best-of-N 选择或测试时扩展来提升代理性能的人员。
  • 机器学习研究人员：研究代理基准测试（如 SWE-Bench, Terminal-Bench）的奖励模型和验证框架的人员。
  • 机器人工程师：需要使用多模态（图像/视频）输入来追踪具身智能部署进度的开发者。

特色亮点

  • 多模态支持：接受图像和视频帧作为轨迹的一部分进行验证。
  • 进度追踪：包含一个 ProgressTracker，用于在线监控代理尝试，以便尽早停止无望的执行。
  • SOTA 性能：在 Terminal-Bench 和 SWE-Bench Verified 等基准测试中达到最先进的结果。
  • Claude Code 集成：提供名为 TurboAgent 的插件，作为 API 代理为 Claude Code 实现 best-of-N 选择。

写过它的文章

相关

  • 项目
    msitarzewski/agency-agents

    该仓库提供了一个基于Markdown的AI智能体提示库（例如：前端开发人员、AI工程师、提示工程师），以及将它们安装到Claude Code、Cursor、Gemini CLI等多种基于大语言模型的编程助手中的脚本。配套的桌面应用程序可自动完成安装。这是一个提示模板集合，而非模型训练框架。

  • 项目
    MadsLorentzen/ai-job-search

    AI Job Search 是一个开源、由 Claude Code 驱动的框架，自动化整个求职申请流程：个人资料创建、职位板抓取、匹配度评分、LaTeX CV/求职信起草、审查代理评论、ATS 友好 PDF 验证、面试准备包和结果跟踪。它在本地运行，需要 Claude Code、Python 3.10+、Bun 和 LaTeX 发行版，并可通过自定义门户搜索技能扩展到其他市场。

  • 项目
    NeoLabHQ/context-engineering-kit

    一个针对基于 LLM 的代码编写助手（Claude Code、Gemini、Antigravity 等）的插件市场，提供节省 Token 的上下文工程模式——反思循环、子代理评审、规范优先开发、代码审查代理以及 Git 辅助工具——让 AI 生成的代码更可靠，且更容易集成进 CI 流水线。

  • 项目
    harshaneel/humanize

    humanize 是一个采用 MIT 授权的仓库，提供两个基于规则的静态技能——`humanize`（将 AI 文本改写为人类语气）与 `ai-check`（生成法医级的 AI 检测报告）。这些技能通过简单的安装脚本或市场指令，适用于任何 LLM 代理（如 Claude Code、Codex CLI、ChatGPT 桌面版、Gemini 等）。经 25 种不同输入测试，内部与外部基于困惑度（perplexity）的检测器均将改写后的输出评定为具备人类特征。此方法为离线、零依赖，但无法规避如 GPTZero 等已学习的分类器。

  • 项目
    WecoAI/aideml

    AIDE ML 是一个开源 Python 包，实现了由 LLM 指导的树搜索代理，用于自动编写、调试和基准测试机器学习代码。用户指定数据集、自然语言目标和评估指标；代理迭代生成和优化 Python 脚本，基于指标反馈修剪搜索树。该仓库包括 CLI、Streamlit UI、HTML 可视化、Docker 和本地 LLM 支持，既适用于代理架构的研究，也适用于实际的 ML 流水线生成。