llm-as-a-verifier/llm-as-a-verifier

LLM-as-a-Verifier is a general-purpose framework that provides fine-grained feedback for any agent without requiring additional training. It achieves SOTA performance across coding, robotics, and medical agentic benchmarks.

解決する課題

LLM-as-a-Verifierは、あらゆるモダリティのAIエージェントに対して、きめ細かなフィードバックとスコアリングを提供する統一フレームワークです。これは、logprob分布を使用してより正確な報酬信号を作成することで、「LLM-as-a-Judge」による粗いスコアリングの問題を解決します。この信号は、テスト時のスケーリング（test-time scaling）、進捗追跡、および強化学習に利用できます。

仕組み

このフレームワークは、主に3つのメカニズムで動作します。

  1. きめ細かな報酬推定：単一の離散スコアではなく、スコアトークンの完全なlogprob分布の期待値をとることで報酬を計算し、軌跡のより詳細な評価を可能にします。
  2. 確率的ピボットトーナメント (PPT)：$O(N^2)$ の総当たり戦のコストをかけずに $N$ 個の候補軌跡を効率的にランク付けするため、PPTは少数の「ピボット」を使用して計算量を $O(Nk)$ に削減します。
  3. プレフィックスキャッシュ最適化：APIコストとレイテンシを削減するため、タスクと軌跡が共有プレフィックスとなるようにプロンプトを構成し、繰り返し評価におけるキャッシュヒット率を大幅に向上させます。

対象ユーザー

  • AIエージェント開発者：best-of-N選択やテスト時のスケーリングを通じてエージェントのパフォーマンスを向上させたい方。
  • 機械学習研究者：エージェントのベンチマーク（例：SWE-Bench, Terminal-Bench）のための報酬モデルや検証フレームワークを研究している方。
  • ロボット工学エンジニア：マルチモーダル（画像/動画）入力を使用して、具現化された知能（embodied intelligence）の展開状況を追跡する必要がある開発者。

ハイライト

  • マルチモーダルサポート：検証のために、軌跡の一部として画像やビデオフレームを受け入れます。
  • 進捗追跡：エージェントの試行をオンラインで監視し、見込みのない実行を早期に停止するための ProgressTracker を含みます。
  • SOTAパフォーマンス：Terminal-BenchやSWE-Bench Verifiedなどのベンチマークで最先端の結果を達成しています。
  • Claude Code統合：TurboAgentというプラグインを提供し、APIプロキシとして機能することでClaude Codeのbest-of-N選択を実装します。

これを取り上げた記事

関連

  • プロジェクト
    msitarzewski/agency-agents

    このリポジトリは、フロントエンド開発者、AIエンジニア、プロンプトエンジニアなど、さまざまな役割に特化したMarkdownベースのAIエージェントプロンプトのライブラリを提供し、Claude Code、Cursor、Gemini CLIなど、さまざまなLLM駆動のコーディングアシスタントにインストールするためのスクリプトも提供しています。併用のデスクトップアプリでインストールを自動化できます。これはモデルトレーニングフレームワークではなく、プロンプトテンプレートのコレクションです。

  • プロジェクト
    MadsLorentzen/ai-job-search

    AI Job Search は、オープンソースの Claude Code 駆動フレームワークで、求職申請パイプライン全体を自動化します：プロフィール作成、求人ボードのスクレイピング、適合スコアリング、LaTeX CV/カバーレターの作成、レビュアーエージェントによる批評、ATS 対応 PDF の検証、面接準備パック、結果追跡。ローカルで実行され、Claude Code、Python 3.10+、Bun、LaTeX ディストリビューションが必要で、カスタムポータル検索スキルを介して他の市場に拡張可能です。

  • プロジェクト
    NeoLabHQ/context-engineering-kit

    LLMベースのコーディングアシスタント（Claude Code、Gemini、Antigravityなど）向けのプラグインマーケットプレース。トークン効率の良いコンテキストエンジニアリングパターン（リフレクションループ、サブエージェントジャッジ、仕様ファースト開発、コードレビューエージェント、Gitヘルパーなど）を提供し、AI生成コードの信頼性を高め、CIパイプラインへの統合を容易にします。

  • プロジェクト
    harshaneel/humanize

    humanizeは、MITライセンスのレポジトリで、2つの静的でルールベースのスキル（AIテキストを人間らしく書き換える「humanize」と、AI生成の痕跡を分析する「ai-check」）を提供します。これらのスキルは、簡単なインストールスクリプトやマーケットプレイスコマンドを通じて、あらゆるLLMエージェント（Claude Code、Codex CLI、ChatGPTデスクトップ版、Geminiなど）で動作します。25種類の多様な入力を用いたベンチマークでは、内部および外部のパープレキシティベースの検出器の両方で、書き換え後の出力が人間らしいと評価されました。このアプローチはオフラインかつゼロ依存ですが、GPTZeroのような学習済み分類器を回避することはできません。

  • プロジェクト
    WecoAI/aideml

    AIDE MLは、機械学習コードを自動で作成、デバッグ、ベンチマークするためのLLM主導のツリー検索エージェントを実装したオープンソースのPythonパッケージです。ユーザーはデータセット、自然言語の目標、評価指標を指定します。エージェントはPythonスクリプトを反復的に生成・改良し、指標フィードバックに基づいて検索ツリーを剪定します。リポジトリにはCLI、Streamlit UI、HTMLビジュアライゼーション、DockerおよびローカルLLMサポートが含まれており、エージェントアーキテクチャの研究と実用的なMLパイプライン生成の両方に対応しています。