vercel/next-evals-oss

Next.js Evals – 개요

Next.js Evals는 AI 코딩 에이전트가 작은 Next.js 애플리케이션을 작성하거나 수정하는 능력을 자동으로 테스트하기 위한 오픈 소스 하네스입니다. evals(작업 설명이 포함된 작은 Next.js 프로젝트) 컬렉션과 각 작업을 어떤 AI 모델(Claude, GPT, Gemini 등)이 해결해야 하는지 정의하는 experiments 세트가 포함되어 있습니다. 하네스는 Vercel 호스팅 샌드박스에서 에이전트를 실행하고, 프로젝트를 편집하게 한 다음, 숨겨진 어서션을 실행하여 결과가 올바른지 확인합니다.

중요한 이유

실제 Next.js 코드에서 LLM 기반 코드 생성 에이전트를 위한 재현 가능한 벤치마크를 제공합니다.
여러 공급자와 구성 가능한 "추론 노력" 수준을 지원하여 연구자가 비용과 품질을 비교할 수 있습니다.
Vercel의 샌드박스 및 AI-Gateway와 통합되어 Vercel 자체 CI가 사용하는 것과 동일한 환경을 로컬에서 사용할 수 있습니다.

핵심 구성 요소(README에 설명됨)

구성 요소	역할
Eval 픽스처 (`evals/…`)	작은 Next.js 앱과 `PROMPT.md`(작업) 및 `EVAL.ts`(숨겨진 테스트). 저장소에는 `vercel/next.js`에서 동기화된 것만 저장됩니다.
Experiments (`experiments/*.ts`)	모델(예: `claude‑opus‑5`)을 일련의 evals에 연결하고, pass@4/1 동작을 정의하며, 가격 정보를 기록하는 구성입니다.
스크립트 (`pnpm …`)	설치, 픽스처 동기화, 자격 증명 확인, 단일 eval 실행, 변경된 모든 evals 실행, 결과 내보내기 등을 위한 도우미 명령입니다.
샌드박스 자격 증명	OIDC 토큰 또는 `VERCEL_TOKEN`, `VERCEL_TEAM_ID`, `VERCEL_PROJECT_ID`의 세트를 통한 Vercel 샌드박스 액세스.
에이전트 키	선택한 모델이 사용하는 공급자별 API 키(`AI_GATEWAY_API_KEY`, `CLAUDE_CODE_OAUTH_TOKEN`, `OPENAI_API_KEY` 등).
내보내기 (`pnpm export-results`)	공개 리더보드 nextjs.org/evals에서 사용하는 형식의 `agent-results.json`을 생성합니다.

사용 방법(빠른 시작 흐름)

설치 – pnpm install --frozen-lockfile(pnpm 전용 저장소).
evals 동기화 – pnpm sync-evals는 업스트림 vercel/next.js 저장소에서 실제 Next.js 픽스처를 가져옵니다.
자격 증명 제공 – .env.example을 .env.local로 복사하고 OIDC 토큰 또는 Vercel 토큰 세트와 필요한 모델 API 키를 입력합니다.
모든 것 확인 – pnpm preflight는 누락된 것이 있는지 알려줍니다.
테스트 실행 – pnpm eval:smoke claude-opus-5는 Claude 모델로 하나의 eval을 실행하여 샌드박스와 자격 증명이 작동하는지 확인합니다.
실제 실험 실행 – pnpm eval:run <experiment…>(또는 대화형 선택기를 위한 pnpm eval)은 선택한 실험에 대해 변경된 모든 evals를 실행하고, 결과를 캐시하여 변경되지 않은 작업을 다시 실행하지 않습니다.
게시 – 성공적인 실행 후 pnpm export-results가 agent-results.json을 생성합니다. 해당 파일을 커밋하고 main에 PR을 병합하여 공개 리더보드를 업데이트합니다.

누가 유용하게 사용할 수 있는지

LLM 연구자 구체적이고 Next 특화된 코딩 벤치마크를 원하는 사람.
Vercel 또는 다른 곳의 제품 팀 코드 완성을 위한 새로운 모델 공급자를 평가하는 사람.
오픈 소스 기여자 새로운 Next.js 작업이나 새로운 모델 구성을 추가하려는 사람.

README에 명시된 제한 사항/범위

실제 eval 픽스처는 이 저장소에 저장되지 않습니다. pnpm sync-evals를 실행할 때마다 vercel/next.js에서 동기화됩니다.
하네스를 실행하려면 Vercel 샌드박스 자격 증명이 필요합니다. 없으면 evals를 실행할 수 없습니다.
비용 추정은 모델 API에서 보고한 토큰 사용량과 정적 가격표에 의존합니다. 가격은 스냅샷이며 오래될 수 있습니다.
공개 리더보드에는 pass@4 점수가 표시됩니다. 릴리스 자동화는 pass@1을 별도로 기록하지만 게시하지는 않습니다.

결론

vercel/next-evals-oss는 Next.js 작업에서 AI 코딩 에이전트를 벤치마킹하기 위한 진정한 프로덕션급 도구입니다. Vercel의 샌드박스, 여러 LLM 공급자, 재현 가능한 평가 스위트를 연결하고 결과를 공개 Next.js 평가 리더보드에 제공합니다.