sjtu-sai-agents/ML-Master

해결 과제

ML-Master는 OpenAI의 MLE-Bench 벤치마크에서 Kaggle 스타일의 경진대회 과제를 해결하는 것과 같은 복잡한 머신러닝 엔지니어링 작업을 자동화하는 과제를 해결합니다. 이 시스템은 AI가 독립적으로 행동하도록 돕습니다. 다양한 접근 방식을 탐색하고, 이에 대해 추론하며, 지식을 점진적으로 축적함으로써 지속적인 인간의 개입 없이도 길고 복잡한 다단계 문제를 처리할 수 있게 합니다.

작동 원리

ML-Master는 탐색과 추론을 하나의 루프로 결합합니다. 다양한 전략을 시도하고, 통찰력과 결과를 포착하며, 가장 유용한 정보를 적응형 메모리에 저장합니다. 2.0 버전에는 계층적 인지 캐싱 (HCC) 아키텍처가 추가되었습니다. 이는 단기 실행 추적을 안정적인 장기 지식으로 증류하여, 전술적 실행과 전략적 계획을 분리하면서도 두 요소가 함께 발전하도록 합니다. 이 시스템은 LLM(코딩용 DeepSeek, 평가 및 피드백용 GPT-4o 등)을 사용하여 프로세스를 구동하며, MLE-Bench 환경 위에서 실행됩니다.

대상 사용자

AI 에이전트, AutoML 또는 장기 작업 자동화를 연구하는 연구원 및 실무자. 에이전트가 장기간에 걸쳐 계획, 실행 및 학습해야 하는 자율 머신러닝 엔지니어를 위한 오픈소스 프레임워크를 찾는 분들에게 특히 유용합니다.

주요 특징

• OpenAI의 MLE-Bench 리더보드에서 1위 달성, 전체 성능 56.44%로 1.0 버전 대비 92.7% 향상.
• 낮음 (75.76%), 중간 (50.88%), 높음 (42.22%) 복잡도의 모든 작업에서 이전 기준치를 상회했으며, 중간 복잡도 작업에서는 152.2% 향상.
• 초장기 과학적 탐색을 위한 계층적 인지 캐싱 (HCC) 아키텍처 도입.
• Docker 이미지 지원 및 MLE-Bench 통합을 갖춘 오픈소스 프로젝트이며, 이후 자가 진화형 EvoMaster 프레임워크로 확장됨.