AIDE ML – LLM主導の機械学習エンジニア

概要 – AIDE MLは、AIDEアルゴリズムを実装したオープンソースのPythonパッケージです。これはLLM主導のツリー検索エージェントで、ユーザー指定の性能指標が最大化（または最小化）されるまで、機械学習タスクのPythonコードを書き、デバッグし、ベンチマークします。このリポジトリには、研究向けの簡潔なリファレンス実装、CLI、Streamlit UI、ソリューションツリーの可視化ユーティリティが含まれています。

対象読者

• エージェントアーキテクチャを探求する研究者（検索ヒューリスティック、評価器、LLMバックエンドを差し替え可能）。
• データセットと自然言語の目標から高性能なMLパイプラインを自動生成したい実務者。

主な特徴

特徴	得られるもの
自然言語によるタスク指定	aide data_dir=… goal="Predict churn" eval="AUROC" – YAMLは不要。
エージェント的ツリー検索	生成された各スクリプトがノードとなり、LLMが生成したパッチが子ノードになります。指標フィードバックがツリーを剪定します。
モデル非依存の基盤	OpenAI、Anthropic、Gemini、またはOpenAI APIに準拠したセルフホストLLM（例：Ollama）で動作します。
HTMLビジュアライザーとStreamlit UI	ソリューションツリー全体、ライブログ、最良のコードを確認できます。
設定可能なステップとドラフト	agent.steps、agent.search.num_drafts、温度、トークン予算、推論努力などを調整可能。
DockerとローカルLLMのサポート	OPENAI_BASE_URLを使用して、ローカルモデル（例：qwen2.5）で完全に実行できます。

始め方

1. パッケージをインストール: pip install -U aideml。
2. LLM APIキーをエクスポート（OPENAI_API_KEY または ANTHROPIC_API_KEY）。
3. データセットフォルダ、目標、評価指標を指定してCLIを実行。実行すると、logs/<run_id>/ディレクトリに最良のスクリプト（best_solution.py）とインタラクティブなtree_plot.htmlが作成されます。

Web UI – リポジトリをクローンし、編集可能パッケージをインストールした後、aide/webui内でstreamlit run app.pyを実行します。データをアップロードし、目標/指標を入力すると、ツリーが進化する様子を観察できます。

拡張性 – このリポジトリは意図的に最小限に設計されています。コアのExperimentクラスは3つの段階（コード生成、フィードバック/評価、レポート）をオーケストレーションします。各段階はモデルID、プロバイダー、温度、トークン予算、オプションの推論努力を受け付け、新しいLLMやカスタム評価器を簡単にプラグインできます。

研究への影響 – このアルゴリズムはarXiv論文『AIDE: AI-Driven Exploration in the Space of Code』（arXiv:2502.13138）で説明されています。これはいくつかの注目すべきベンチマーク（MLE-Bench、RE-Bench、AI-Scientist-v2、Metaのspeed-runnerなど）で引用されており、ツリー検索バージョンは線形エージェントを大幅に上回る性能を示しています。

インストールとテスト – 通常のpipインストールに加えて、このリポジトリにはDockerfile、ライブのエンドツーエンドテスト（Ames住宅データセットで数ステップ実行）、実際のAPIキーでテストを実行できるCIが含まれています。

引用 – 論文でAIDE MLを使用する場合は、READMEの最後にある2025年のarXiv記事を引用してください。