vercel/next-evals-oss

Next.js Evals – 概要

Next.js Evals は、AI コーディングエージェントが小さな Next.js アプリケーションを作成または変更できるかを自動的にテストするためのオープンソースのハーネスです。evals（タスク説明付きの小さな Next.js プロジェクト）のコレクションと、各タスクをどの AI モデル（Claude、GPT、Gemini など）が解決するかを定義する experiments のセットが含まれています。ハーネスは Vercel ホストのサンドボックスでエージェントを実行し、プロジェクトを編集させ、隠れたアサーションを実行して結果が正しいかどうかを確認します。

重要な理由

実世界の Next.js コードに対する LLM ベースのコード生成エージェントの再現可能なベンチマークを提供します。
複数のプロバイダーと設定可能な「推論努力」レベルをサポートし、研究者がコストと品質を比較できるようにします。
Vercel のサンドボックスと AI-Gateway と統合されているため、Vercel 自身の CI が使用するのと同じ環境をローカルで使用できます。

コアコンポーネント（README に記載）

コンポーネント	役割
Eval フィクスチャ (`evals/…`)	小さな Next.js アプリと `PROMPT.md`（タスク）および `EVAL.ts`（隠れたテスト）。リポジトリには `vercel/next.js` からの同期のみが保存されます。
Experiments (`experiments/*.ts`)	モデル（例：`claude‑opus‑5`）を一連の evals に結び付け、pass@4/1 の動作を定義し、価格情報を記録する設定。
スクリプト (`pnpm …`)	インストール、フィクスチャの同期、資格情報の確認、単一の eval の実行、変更されたすべての evals の実行、結果のエクスポートなどのヘルパーコマンド。
サンドボックス資格情報	OIDC トークンまたは `VERCEL_TOKEN`、`VERCEL_TEAM_ID`、`VERCEL_PROJECT_ID` の 3 つ組による Vercel サンドボックスへのアクセス。
エージェントキー	選択したモデルが使用するプロバイダー固有の API キー（`AI_GATEWAY_API_KEY`、`CLAUDE_CODE_OAUTH_TOKEN`、`OPENAI_API_KEY` など）。
エクスポート (`pnpm export-results`)	公開リーダーボード nextjs.org/evals で使用される形式の `agent-results.json` を生成します。

使用方法（クイックスタートフロー）

インストール – pnpm install --frozen-lockfile（pnpm のみのリポジトリ）。
evals を同期 – pnpm sync-evals は、上流の vercel/next.js リポジトリから実際の Next.js フィクスチャを取得します。
資格情報を提供 – .env.example を .env.local にコピーし、OIDC トークンまたは Vercel トークンの 3 つ組、および必要なモデル API キーを入力します。
すべてを確認 – pnpm preflight は、不足しているものがあるかどうかを通知します。
テストを実行 – pnpm eval:smoke claude-opus-5 は、Claude モデルで 1 つの eval を実行して、サンドボックスと資格情報が機能することを確認します。
実際の実験を実行 – pnpm eval:run <experiment…>（または対話型ピッカーの pnpm eval）は、選択した実験の変更されたすべての evals を実行し、結果をキャッシュして未変更の作業を再実行しないようにします。
公開 – 成功した実行後、pnpm export-results が agent-results.json を作成します。そのファイルをコミットし、main への PR をマージして公開リーダーボードを更新します。

誰に役立つか

LLM 研究者 具体的で Next 固有のコーディングベンチマークを求める方。
Vercel などのプロダクトチーム コード補完用の新しいモデルプロバイダーを評価する方。
オープンソース貢献者 新しい Next.js タスクや新しいモデル設定を追加したい方。

README に記載されている制限/範囲

実際の eval フィクスチャはこのリポジトリには保存されていません。pnpm sync-evals を実行するたびに vercel/next.js から同期されます。
ハーネスを実行するには Vercel サンドボックス資格情報が必要です。これがないと evals は実行できません。
コスト見積もりは、モデル API によって報告されたトークン使用量と静的価格表に依存します。価格はスナップショットであり、古くなる可能性があります。
公開リーダーボードには pass@4 スコアが表示されます。リリース自動化は pass@1 を個別に記録しますが、公開はしません。

結論

vercel/next-evals-oss は、Next.js タスクで AI コーディングエージェントをベンチマークするための本格的で本番グレードのツールです。Vercel のサンドボックス、複数の LLM プロバイダー、再現可能な評価スイートを結び付け、結果を公開 Next.js 評価リーダーボードにフィードします。