Simreal-AI/Simreal-MLBench

이것은 무엇입니까?

Simreal-MLBench는 AI 연구 에이전트를 평가하기 위한 벤치마크입니다. 단순한 질문에 답하는 것이 아니라, 실제 기계학습 연구 업무를 수행하는 AI 시스템을 대상으로 합니다. 에이전트는 데이터셋을 받고, 모델링 전략을 도출하며, 실험을 수행하고 예측을 제출해야 합니다. 이는 인간 데이터 과학자가 수행하는 것과 동일한 과정입니다.

이 프로젝트는 상용 평가 서비스의 공개 사전 데모입니다. 핵심 아이디어는 규칙은 누구나 검토할 수 있지만, 규칙을 시행하는 인프라는 회사(Simreal)가 운영한다는 점입니다.

포함된 내용

• 60개의 태스크 — 테이블 학습, 예측, 비전, 언어, 오디오, 멀티모달 학습, 과학 데이터를 아우릅니다. 세 가지 레벨로 나뉩니다: Easy (20개, 6시간 예산, CPU만), Medium (20개, 12시간, GPU), Hard (20개, 24시간, GPU).
• 공개된 평가 프로토콜 — 정확한 스코어링 코드, 태스크 정의, 에이전트가 평가 환경과 상호작용하는 데 사용하는 클라이언트 SDK (mleb-remote).
• 검증 도구 — 저장된 데이터에서 공개된 스코어를 재계산할 수 있는 스크립트로, 회사에 대한 신뢰를 필요로 하지 않고 결과를 외부에서 검증할 수 있습니다.

왜 이렇게 설계되었나요?

저자들은 벤치마크 수치가 신뢰할 수 있는 것은 검증 가능한 경우뿐이라고 주장합니다. 그들의 설계 선택은 다음과 같습니다:

1. 스코어러는 그들 자신이 아님. 테스트 레이블은 원래 경진대회 플랫폼(Kaggle 등)에 유지됩니다. Simreal은 답을 보유하지 않기 때문에, 에이전트나 회사 모두 레이블을 유출하거나 잘못 분할할 수 없습니다.
2. 1회 제출이 아니라 2회 제출. 에이전트는 첫 번째 스코어를 얻은 후, 두 번째 기회를 갖습니다. 이는 순수한 기술뿐만 아니라, 성실한 피드백을 받은 후 개선 능력도 측정합니다.
3. 소스 무시 태스크 개요. 개요는 플랫폼 이름과 URL을 제거하도록 스캔되어, 잘 알려진 데이터셋을 쉽게 식별할 수 없도록 합니다.
4. 적대적 테스트. 태스크가 배포되기 전에 의도적으로 나쁜 제출을 사용해 스코어링 보상이 탐지되도록 테스트하여 악용을 방지합니다.
5. 완전한 프로반스. 모든 스코어에는 제출 ID, 아티팩트 해시, 스냅샷 해시가 포함되어 완전한 감사 추적 기록이 보장됩니다.

스코어링

태스크 스코어는 100 × p²입니다. 여기서 p는 에이전트가 고정된 참조 리더보드의 몇 퍼센트를 초과했는지를 나타냅니다(동점은 반점). 이는 단지 하나의 베이스라인을 넘는 것이 아니라, 많은 베이스라인을 넘는 것을 장려합니다.

무엇이 오픈이고 무엇이 클로즈드인가요?

오픈 (Apache-2.0)	클로즈드 (Simreal 서비스)
태스크 카탈로그, 프로토콜, 스코어링 코드, SDK, 예제, 테스트, 보고서	게이트웨이, 컨트롤러, 워커 큐, 제출 브로커, 공식 스코어링 경로

상태

카탈로그와 도구는 출시되었으며(35개 테스트 성공), 하지만 현재까지 60개 태스크 중 3개만이 엔드투엔드로 검증되었습니다. 전체 범위의 승인과 공개 리더보드 계획이 있습니다. README에는 향후 연구 방향도 언급되어 있습니다: 이 벤치마크를 RLVR(검증 가능한 보상이 있는 강화학습)과 재귀적 자기 개선 — 에이전트가 자신의 연구 능력을 시간이 지남에 따라 향상시키는 것 — 에 활용하려는 시도입니다. 그러나 아직 훈련된 결과는 포함되어 있지 않습니다.

결론

OpenAI의 MLE-bench에 영감을 받았지만, 독자적인 스코어링 방식, 리소스 프로토콜, 그리고 의도적인 오픈 룰/운영 런타임 분리가 특징인, ML 연구 에이전트를 위한 진지하고 신중하게 설계된 평가 프레임워크입니다. 여전히 초기 단계입니다: 전체 벤치마크는 아직 엔드투엔드로 검증되지 않았으며, 공식 평가 서비스 사용은 회사에 연락해야 합니다.