facebookresearch/ProgramBench

Can Language Models Rebuild Programs From Scratch?

它解決的問題

ProgramBench 提供了一個基準測試，用於評估 AI 代理是否能從零開始重建完整的原始碼庫。它測試模型在僅有編譯後的二進位檔及其文件的情況下，重建原始二進位檔行為的能力。

該專案提供了一組測試和框架，讓 AI 代理嘗試重新建構程式。代理會獲得一個編譯後的二進位檔和文件，並必須產出一個功能與原始程式相符的原始碼庫。

此工具專為致力於 AI 代理的研究人員和開發者設計，特別是那些專注於軟體工程和程式碼生成能力的開發者。

Dispatch
ProgramBench：測試 LLM 軟體重建的極限
對 ProgramBench 的分析，這是一個旨在測試 LLM 是否能從頭開始重建現有程式的基準測試，以及隨之而來關於 AI 程式碼模式與評估方法論的辯論。
Dispatch
OpenAI PaperBench：評估 AI 代理人複製 AI 研究的能力
OpenAI 推出了 PaperBench，一項旨在測試 AI 代理人是否能從頭複製最先進 AI 研究論文的基準，結果發現目前的前沿模型仍落後於人類機器學習博士。
專案
aisa-group/PostTrainBench
A benchmark that measures the ability of CLI agents to autonomously post-train pre-trained LLMs to improve their performance on specific benchmarks.
Dispatch
Databricks 在數百萬行程式碼庫上對編碼代理進行基準測試
Databricks 發布了一項基準測試，針對其數百萬行程式碼庫評估編碼代理，展示了 AI 助手在大型規模真實世界軟體上的表現。
專案
benchflow-ai/skillsbench
一個用於評估 AI 代理如何利用和組合模組化技能（指令、腳本與資源）來執行專業工作流程的基準測試。