Simreal-AI/Simreal-MLBench

这是什么？

Simreal-MLBench 是一个用于评估 AI研究代理 的基准测试 —— 即能够执行真实机器学习研究工作的AI系统，而不仅仅是回答问题。代理会获得一个数据集，必须自行确定建模方法，运行实验，并提交预测，就像人类数据科学家一样。

该项目是商业评估服务的 公开预览。核心理念：规则 对任何人开放以供审查，但 执行规则的基础设施 由公司（Simreal）运营。

包含内容

• 60个任务，涵盖表格学习、预测、视觉、语言、音频、多模态学习和科学数据。任务分为三个等级：Easy（20个任务，6小时预算，仅CPU）、Medium（20个任务，12小时，GPU）、Hard（20个任务，24小时，GPU）。
• 公开的评估协议 —— 精确的评分代码、任务定义，以及代理与评估环境交互所用的客户端SDK（mleb-remote）。
• 验证工具 —— 脚本允许任何人从保存的数据重新计算已发布的分数，因此无需信任公司即可验证结果。

为何如此设计？

作者认为，只有可验证的基准数值才可信。其设计选择包括：

1. 评分者不是他们。 测试标签保留在原始竞赛平台（如Kaggle）上。Simreal从不持有答案，因此代理或公司都无法泄露或错误分割标签。
2. 两次提交，而非一次。 代理先获得一次评分，再有一次改进机会。这不仅衡量原始能力，还衡量代理在获得诚实反馈后是否能 改进。
3. 源码无关的任务说明。 说明文档经过扫描，移除了平台名称和URL，使代理难以轻易识别知名数据集。
4. 对抗性测试。 在任务发布前，会用故意不良的提交探测评分奖励，以发现潜在漏洞。
5. 完整溯源。 每个分数都附带提交ID、工件哈希和快照哈希，形成完整的审计追踪。

评分

任务分数为 100 × p²，其中 p 是代理超越固定参考排行榜的比例（平局得半分）。这鼓励超越多个基线，而不仅仅是超越一个。

开放与封闭内容对比

开放（Apache-2.0）	封闭（Simreal服务）
任务目录、协议、评分代码、SDK、示例、测试、报告	网关、控制器、工作队列、提交代理、官方评分路径

状态

目录和工具已发布（35个测试通过），但目前仅 60个任务中的3个 已完成端到端验证。计划推出全功能准入和公开排行榜。README还提到了未来研究方向：使用该基准进行 RLVR（可验证奖励的强化学习）和 递归自我改进 —— 代理随时间提升自身研究能力 —— 尽管目前尚未包含训练结果。

总结

一个严肃且深思熟虑的ML研究代理评估框架，受OpenAI的MLE-bench启发，但具有独特的评分机制、资源协议，以及明确的开放规则/企业运营运行时分离。仍处于早期阶段：完整基准尚未完成端到端验证，使用官方评估服务需联系公司。