sjtu-sai-agents/ML-Master

解決する課題

ML-Masterは、OpenAIのMLE-BenchベンチマークにおけるKaggleスタイルのコンペティションタスクを解くような、複雑な機械学習エンジニアリング作業を自動化するという課題に取り組みます。AIシステムが自律的に行動できるよう支援します。つまり、さまざまなアプローチを探索し、それらについて推論し、知識を段階的に蓄積することで、絶え間ない人間の指導なしに、長く複雑な多段階の問題を処理できるようにします。

仕組み

ML-Masterは、探索と推論を単一のループに統合しています。さまざまな戦略を試し、洞察と結果をキャプチャし、最も有用なものを適応型メモリに保存します。バージョン2.0では、階層型認知キャッシュ (HCC) アーキテクチャが追加されました。これは、短期的な実行トレースを安定した長期的な知識へと蒸留し、戦術的な実行と戦略的な計画を分離しつつ、両者を同時に進化させるものです。システムはLLM（コーディングにはDeepSeek、評価とフィードバックにはGPT-4oなど）を使用してプロセスを駆動し、MLE-Bench環境上で実行されます。

対象ユーザー

AIエージェント、AutoML、または長期間のタスク自動化に取り組む研究者や実務家。エージェントが長期間にわたって計画、実行、学習を行う必要がある、自律的な機械学習エンジニアリングのためのオープンソースフレームワークを求める方に特に価値があります。

ハイライト

• OpenAIのMLE-Benchリーダーボードで1位を獲得。全体パフォーマンスは56.44%で、バージョン1.0から92.7%向上しました。
• 低 (75.76%)、中 (50.88%)、高 (42.22%) の複雑さのタスクすべてにおいて以前のベースラインを上回り、中程度の複雑さのタスクでは152.2%の改善を達成しました。
• 超長期間の科学的探索のための階層型認知キャッシュ (HCC) アーキテクチャを導入。
• DockerイメージのサポートとMLE-Benchとの統合を備えたオープンソースプロジェクト。後に自己進化型のEvoMasterフレームワークへと拡張されました。