FrontierCS/Frontier-CS

它解决了什么

Frontier-CS 解决了当前 AI 编码基准饱和的问题。虽然模型在已知解决方案的教科书式问题上通常得分很高，但它们在现实世界的工程和研究挑战中却经常遇到困难。此项目提供了一系列未解决、开放式且多样化的计算机科学问题，这些问题需要深厚的专业知识且缺乏最佳解决方案，确保 AI 评估在模型演进时仍具挑战性。

它的运作方式

Frontier-CS 作为 AI 的严格“考试”，提供三种主要的问题轨道：研究问题、算法问题和代理原生 2.0 问题。它提供 CLI 和 Python API 来评估解决方案，支持通过 Docker 进行本地执行，以及通过 SkyPilot 进行云端执行。为了支持迭代式 AI 代理，它与 Harbor 集成，允许代理通过 submit.sh 脚本接收反馈，并获得最终可验证的分数。

目标受众

此工具专为构建专注于编码、问题解决和计算机科学研究的 LLM 或 AI 代理的 AI 研究人员和开发人员设计，也适用于那些希望针对真正困难、非平凡任务对其模型进行基准测试的人。

亮点

• 未解决的挑战：专注于尚未有解决方案达到完美分数的问题。
• 可验证的评分：使用连续评分而非二元通过/失败，允许跟踪渐进式改进。
• 多样化范围：涵盖多个领域，包括系统、机器学习、算法和安全性。
• 代理原生集成：专门设计用于通过 Harbor 适配器进行代理工作流程，支持迭代式反馈和试验。
• 灵活执行：支持批量评估和多个后端（Docker、SkyPilot）以进行可扩展测试。