facebookresearch/ProgramBench

Can Language Models Rebuild Programs From Scratch?

해결하는 문제

ProgramBench는 AI 에이전트가 컴파일된 바이너리와 그 문서만을 가지고 완전한 코드베이스를 처음부터 재구성할 수 있는지 평가할 수 있는 벤치마크를 제공합니다. 모델이 바이너리와 문서만을 이용해 원래 바이너리의 동작을 재현하는 프로그램을 설계하고 구현할 수 있는 능력을 테스트합니다.

작동 방식

이 프로젝트는 AI 에이전트가 프로그램을 재구성해보도록 하는 테스트 세트와 프레임워크를 제공합니다. 에이전트는 컴파일된 바이너리와 문서를 받고, 원래 프로그램의 기능과 일치하는 코드베이스를 생성해야 합니다.

대상 사용자

이 도구는 AI 에이전트, 특히 소프트웨어 공학 및 코드 생성 능력에 초점을 맞춘 연구자 및 개발자를 위한 것입니다.

주요 특징

  • 처음부터 프로그램을 재구성하는 벤치마크.
  • 에이전트 성능을 추적하는 랭킹 보드 포함.
  • mini-swe-agent 베이스라인과 통합됨.
  • pip 또는 uv를 통해 Python 패키지로 제공됨.

관련

  • Dispatch
    ProgramBench: LLM 소프트웨어 재구성 한계 테스트

    LLM이 기존 프로그램을 처음부터 재구성할 수 있는지 확인하기 위해 설계된 벤치마크인 ProgramBench에 대한 분석과 AI 코딩 패턴 및 평가 방법론에 대한 논쟁.

  • Dispatch
    OpenAI PaperBench: AI 에이전트의 AI 연구 복제 능력 평가

    OpenAI는 AI 에이전트가 최신 AI 연구 논문을 처음부터 복제할 수 있는지를 테스트하기 위해 설계된 벤치마크인 PaperBench를 도입했으며, 현재 최첨단 모델들이 인간 ML 박사 수준에 아직 뒤처져 있음을 발견했습니다.

  • 프로젝트
    aisa-group/PostTrainBench

    A benchmark that measures the ability of CLI agents to autonomously post-train pre-trained LLMs to improve their performance on specific benchmarks.

  • Dispatch
    Databricks, 수백만 라인 코드베이스에서 코딩 에이전트를 벤치마크

    Databricks는 수백만 라인 규모의 코드베이스를 대상으로 코딩 에이전트를 평가하는 벤치마크를 발표했으며, AI 어시스턴트가 대규모 실제 소프트웨어에서 어떻게 성능을 발휘하는지 보여줍니다.

  • 프로젝트
    benchflow-ai/skillsbench

    AI 에이전트가 지침, 스크립트, 리소스와 같은 모듈화된 스킬을 어떻게 활용하고 조합하여 전문적인 워크플로우를 수행하는지 평가하는 벤치마크입니다.