FrontisAI/OpenRSI

해결하는 문제

OpenRSI는 "AI가 AI를 개선하는" (재귀적 자기 개선) 것을 실행 가능한 공학적 문제로 만드는 것을 목표로 합니다. 연구, 실행, 학습을 반복하면서 AI가 스스로의 능력을 자율적으로 향상시킬 수 있는 시스템을 구축하는 데 초점을 맞추며, 특히 개선 속도 자체를 최적화 대상으로 삼습니다.

작동 방식

이 프로젝트는 OpenMLE 스택을 통해 이를 구현합니다. OpenMLE는 기계학습 공학(MLE)을 첫 번째 실행 가능한 도메인으로 삼습니다. 시스템은 검색, 경험, 훈련의 루프를 통해 작동합니다:

• OpenMLE-Gym: 검증 가능한 작업 환경과 평가 도구를 제공하여 작업 패키지를 생성합니다.
• OpenMLE-RL: 실행 기반의 지도 미세조정(SFT)과 온라인 강화학습(RL)을 사용하여 특정 프로그램 진화 연산자를 훈련합니다.
• Frontis-MA1: MLE에서 메타진화 에이전트로 작동하는 사전 훈련된 AI4AI 모델로, 학습된 연산자를 적용하여 코드를 개선합니다.
• OpenMLE-Evo: 이러한 연산자를 장기적 검색 파이프라인으로 조합하는 검색 런타임입니다.

시스템은 네 가지 원자적 연산자를 사용합니다: Draft (프로그램 생성), Improve (피드백 기반 개선), Debug (실패 수리), Crossover (프로그램 재조합).

대상 사용자

AI4AI, 재귀적 자기 개선, 자동 기계학습 공학에 관심 있는 AI 연구자 및 엔지니어를 위한 것입니다.

주요 특징

• Frontis-MA1: MLE에서 메타진화를 위한 전용 AI4AI 모델 (30B 및 35B 버전 제공).
• 실행 기반 학습: 사전 훈련 및 추론을 프로그램 진화 연산자의 공통 액션 공간에 맞춥니다.
• 검증 가능한 결과: 훈련된 모델과 검색 프레임워크의 조합을 통해 MLE-Bench Lite 및 NatureBench Lite에서 두드러진 성과를 보여줍니다.
• OpenMLE Sandbox: 자체 호스팅형 분산 코드 실행 및 자동 평가 백엔드.