AIDE ML – LLM 기반 머신러닝 엔지니어

정의 – AIDE ML은 AIDE 알고리즘을 구현한 오픈소스 Python 패키지입니다. 이는 LLM 기반 트리 탐색 에이전트로, 사용자가 지정한 성능 지표가 최대화(또는 최소화)될 때까지 머신러닝 작업을 위한 Python 코드를 작성, 디버그, 벤치마킹합니다. 리포지토리에는 연구용 간결한 레퍼런스 구현, CLI, Streamlit UI, 솔루션 트리 시각화 유틸리티가 포함되어 있습니다.

대상 독자

• 에이전트 아키텍처를 탐구하는 연구자(검색 휴리스틱, 평가기, LLM 백엔드 교체 가능).
• 데이터셋과 자연어 목표에서 고성능 ML 파이프라인을 자동 생성하려는 실무자.

주요 기능

기능	제공 사항
자연어 작업 지정	aide data_dir=… goal="Predict churn" eval="AUROC" – YAML 불필요.
에이전트 기반 트리 탐색	생성된 각 스크립트는 노드이며, LLM이 생성한 패치가 자식 노드가 됩니다. 지표 피드백이 트리를 가지치기합니다.
모델 중립적 기반	OpenAI, Anthropic, Gemini 또는 OpenAI API를 따르는 셀프 호스트 LLM(예: Ollama)과 호환됩니다.
HTML 비주얼라이저 및 Streamlit UI	전체 솔루션 트리, 실시간 로그, 최상의 코드를 확인할 수 있습니다.
구성 가능한 단계 및 초안	agent.steps, agent.search.num_drafts, 온도, 토큰 예산, 추론 노력 등을 조정할 수 있습니다.
Docker 및 로컬 LLM 지원	OPENAI_BASE_URL을 통해 로컬 모델(예: qwen2.5)로 완전히 실행할 수 있습니다.

시작하기

1. 패키지 설치: pip install -U aideml.
2. LLM API 키 내보내기(OPENAI_API_KEY 또는 ANTHROPIC_API_KEY).
3. 데이터셋 폴더, 목표, 평가 지표를 지정하여 CLI 실행. 실행 시 logs/<run_id>/ 디렉토리에 최상의 스크립트(best_solution.py)와 대화형 tree_plot.html이 생성됩니다.

웹 UI – 리포지토리를 클론하고, 편집 가능한 패키지를 설치한 후 aide/webui 안에서 streamlit run app.py를 실행하세요. 데이터를 업로드하고 목표/지표를 입력하면 트리가 진화하는 것을 관찰할 수 있습니다.

확장성 – 이 리포지토리는 의도적으로 최소한으로 설계되었습니다. 핵심 Experiment 클래스는 세 단계(코드 생성, 피드백/평가, 보고)를 오케스트레이션합니다. 각 단계는 모델 ID, 제공자, 온도, 토큰 예산, 선택적 추론 노력을 수용하여 새 LLM이나 사용자 정의 평가기를 쉽게 플러그인할 수 있습니다.

연구 영향 – 이 알고리즘은 arXiv 논문 AIDE: AI-Driven Exploration in the Space of Code (arXiv:2502.13138)에 설명되어 있습니다. 이 논문은 여러 유명 벤치마크(MLE-Bench, RE-Bench, AI-Scientist-v2, Meta의 speed-runner 등)에서 인용되었으며, 트리 탐색 버전이 선형 에이전트보다 훨씬 뛰어난 성능을 보여줍니다.

설치 및 테스트 – 일반적인 pip 설치 외에도 이 리포지토리에는 Dockerfile, 라이브 엔드투엔드 테스트(Ames 주택 데이터셋에서 몇 단계 실행), 실제 API 키로 테스트를 실행할 수 있는 CI가 포함되어 있습니다.

인용 – 논문에서 AIDE ML을 사용하는 경우 README 끝에 있는 2025년 arXiv 기사를 인용하십시오.