facebookresearch/ProgramBench

Can Language Models Rebuild Programs From Scratch?

它解决了什么问题

ProgramBench 提供了一个基准测试，用于评估 AI 代理是否能够从零开始重建完整的代码库。它测试模型在仅使用编译后的二进制文件及其文档的情况下，重构出与原始二进制文件行为一致的程序架构和实现能力。

该项目提供了一组测试用例和一个框架，供 AI 代理尝试重现程序。代理会获得一个编译后的二进制文件和相关文档，必须生成一个功能与原始程序一致的代码库。

此工具专为从事 AI 代理研究和开发的研究人员及开发者设计，特别是关注软件工程和代码生成能力的人员。

Dispatch
ProgramBench：测试大语言模型软件重构的极限
对 ProgramBench 的分析，该基准旨在测试 LLM 是否能从零开始重建现有程序，并探讨了由此引发的关于 AI 编码模式和评估方法论的辩论。
Dispatch
OpenAI PaperBench：评估 AI 代理复制 AI 研究的能力
OpenAI 推出了 PaperBench，这是一项旨在测试 AI 代理是否能够从头复制最前沿 AI 研究论文的基准，结果发现当前的前沿模型仍然落后于人类机器学习博士。
项目
aisa-group/PostTrainBench
A benchmark that measures the ability of CLI agents to autonomously post-train pre-trained LLMs to improve their performance on specific benchmarks.
Dispatch
Databricks 在数百万行代码库上对编程智能体进行基准测试
Databricks 发布了一项针对其数百万行代码库评估编程智能体的基准测试，展示了 AI 助手在大规模现实世界软件上的表现。
项目
benchflow-ai/skillsbench
一个用于评估 AI 代理如何利用和组合模块化技能（指令、脚本和资源）来执行专业工作流的基准测试。