FrontierCS/Frontier-CS

해결하는 문제

Frontier-CS는 현재 AI 코딩 벤치마크의 포화 문제를 해결합니다. 모델은 알려진 솔루션이 있는 교과서 스타일 문제에서 높은 점수를 받는 경우가 많지만 실제 엔지니어링 및 연구 과제에서는 자주 어려움을 겪습니다. 이 프로젝트는 깊은 전문 지식이 필요하고 최적의 솔루션이 부족한 해결되지 않고 개방형이며 다양한 컴퓨터 과학 문제를 제공하여 모델이 진화함에 따라 AI 평가가 계속해서 도전적으로 유지되도록 보장합니다.

작동 방식

Frontier-CS는 AI를 위한 엄격한 "시험" 역할을 하며 연구 문제, 알고리즘 문제, 에이전트 네이티브 2.0 문제의 세 가지 주요 트랙을 제공합니다. 솔루션을 평가하기 위한 CLI 및 Python API를 제공하며 Docker를 통한 로컬 실행과 SkyPilot을 통한 클라우드 실행을 모두 지원합니다. 반복적인 AI 에이전트를 지원하기 위해 Harbor와 통합하여 에이전트가 submit.sh 스크립트를 통해 피드백을 받고 최종 검증 가능한 점수를 받을 수 있도록 합니다.

대상

이 도구는 코딩, 문제 해결 및 컴퓨터 과학 연구에 중점을 둔 LLM 또는 AI 에이전트를 구축하는 AI 연구자와 개발자, 그리고 진정으로 어렵고 사소하지 않은 작업에 대해 모델을 벤치마킹하려는 사람들을 위해 설계되었습니다.

주요 기능

• 해결되지 않은 과제: 아직 완벽한 점수를 달성한 솔루션이 없는 문제에 중점을 둡니다.
• 검증 가능한 점수: 이진 통과/실패가 아닌 연속 점수를 사용하여 점진적인 개선 추적을 가능하게 합니다.
• 다양한 범위: 시스템, 머신 러닝, 알고리즘, 보안 등 여러 도메인을 다룹니다.
• 에이전트 네이티브 통합: Harbor 어댑터를 통해 에이전트 워크플로우를 위해 특별히 설계되어 반복적인 피드백과 시도를 지원합니다.
• 유연한 실행: 확장 가능한 테스트를 위한 배치 평가 및 여러 백엔드(Docker, SkyPilot)를 지원합니다.