OpenAI MLE-bench：评估机器学习工程中的机器学习代理
OpenAI 推出了 MLE-bench，这是一项旨在衡量 AI 代理在机器学习（ML）工程中表现的基准。通过利用 75 场精选的 Kaggle 竞赛，该基准测试代理在真实的机器学习工程场景中训练模型、准备数据集和运行实验的能力。
基准设计与方法论
MLE-bench 评估 AI 代理解决复杂机器学习工程任务的能力。该基准由来自 Kaggle 的 75 场机器学习工程相关竞赛组成。这些任务旨在测试一系列真实世界技能，包括：
- 模型训练： 实现并训练机器学习模型的能力。
- 数据集准备： 处理并准备模型训练数据的能力。
- 实验： 运行和管理实验，以迭代提升模型性能。
为了建立人类表现的基准，OpenAI 使用了 Kaggle 公开的排行榜。
性能结果
OpenAI 使用开源代理框架评估了多个前沿语言模型。表现最佳的配置——OpenAI 的 o1-preview 模型结合 AIDE 框架——在 16.9% 的竞赛中达到了 Kaggle 铜牌水平的表现。
研究重点与资源扩展
除了主要的性能指标，MLE-bench 附带的研究还探讨了影响代理表现的若干关键因素：
- 资源扩展： 调查 AI 代理的各种资源扩展形式，以确定额外资源如何影响其成功率。
- 预训练污染： 调查模型预训练数据的污染对结果的影响。
可用性
为了促进对 AI 代理机器学习工程能力的进一步研究，OpenAI 已在 GitHub 上开源了基准代码。
相关
- 项目
FrontisAI/OpenRSIOpenRSI 是一个开源堆栈，将「AI 改进 AI」转化为一个具体且可执行的研究问题。它包含由 Frontis AI 训练的 35 B 的 Frontis‑MA1 模型（用于编写、改进、调试和重组代码），完整的 OpenMLE 全栈（用于任务创建的 Gym、用于学习操作符的 RL 管道，以及用于长周期搜索的 Evo），以及公开数据集。当模型与搜索系统结合时，MEL‑Bench 和 NatureBench 上均显示出显著提升。仓库提供了复现训练或运行单次搜索的详细指南，所有代码和模型均以 CC‑BY‑NC 4.0 许可证发布。
- Dispatch
- 项目
TIGER-AI-Lab/ClawBenchClawBench是一个开源基准测试，用于评估AI浏览器代理在真实世界在线任务（旅行预订、订餐、求职申请等）上的表现。它包含两个语料库，共281个任务，覆盖163个实时网站，每次运行记录5层跟踪，并使用基于LLM的评估器对结果进行评分。通过`pip install clawbench-eval`（或`uv tool install`）安装，配置模型评估器，并使用`clawbench` CLI在Docker/Podman内运行任务。结果显示在HuggingFace排行榜上，框架可扩展以支持新任务或代理。
- Dispatch
OpenAI 技术目标（2016）OpenAI 在 2016 年概述了其早期技术路线图，重点在于创建通用智能度量并开发能够实现机器人技术、自然语言理解以及多游戏精通的智能体。
- 项目
aisa-group/PostTrainBenchPostTrainBench 是一个基准测试，用于衡量自主 LLM 代理在 10 小时 H100 计算预算内微调基础语言模型的能力。它涵盖了四种 CLI 脚手架（Claude、Codex、Gemini、OpenCode）和六项不同的下游任务。该项目提供了 HTCondor 参考流水线和云 GPU 适配器，并包含详细的提示词、环境设置以及对 API 密钥和订阅制代理的支持。