Simreal-AI/Simreal-MLBench

これは何ですか？

Simreal-MLBench は、AI研究エージェントを評価するベンチマークです — ただ質問に答えるのではなく、実際の機械学習研究作業を行うAIシステムです。エージェントはデータセットを受け取り、モデリングアプローチを考案し、実験を実行して予測を提出する必要があります。これは、人間のデータサイエンティストが行うのと同様のプロセスです。

このプロジェクトは、商用評価サービスのパブリックプレビューです。キーポイントは：ルールは誰でも確認可能ですが、ルールを実行するインフラは会社（Simreal）が運営しています。

含まれるもの

• 60のタスク：テーブル学習、予測、ビジョン、言語、音声、マルチモーダル学習、科学データをカバー。3つのレベルに分類：Easy（20タスク、6時間予算、CPUのみ）、Medium（20タスク、12時間、GPU）、Hard（20タスク、24時間、GPU）。
• 公開された評価プロトコル — 精確なスコアリングコード、タスク定義、エージェントが評価環境とやり取りするためのクライアントSDK（mleb-remote）。
• 検証ツール — 保存されたデータから公開スコアを再計算できるスクリプト。会社への信頼を必要とせず、結果を外部で検証可能。

なぜこのように設計されたのか？

著者たちは、ベンチマークの数値が信頼できるのは、検証可能な場合のみだと主張しています。その設計の意図は以下の通りです：

1. スコアラーは彼らではない。 テストラベルは元のコンペティションプラットフォーム（例：Kaggle）に保持されます。Simrealは答えを保有しないため、エージェントも会社もラベルを漏洩したり、誤って分割したりできません。
2. 1回ではなく2回の提出。 エージェントは最初のスコアを得て、その後もう1回のチャンスがあります。これにより、単なるスキルだけでなく、誠実なフィードバックを受けた後の改善能力も測定されます。
3. ソースを無視するタスク概要。 概要は、プラットフォーム名やURLを削除するようにスキャンされ、よく知られたデータセットを簡単に識別できないようにしています。
4. 敵対的テスト。 タスクが公開される前に、意図的に悪い提出を用いてスコアリング報酬を検証し、悪用を発見します。
5. 完全なプロバンス。 すべてのスコアには、提出ID、アーティファクトハッシュ、スナップショットハッシュが付随し、完全な監査証跡が確保されます。

スコアリング

タスクスコアは 100 × p² です。ここで p は、エージェントが固定された参照リーダーボードの何パーセントを上回ったか（同点は半分の信用）を表します。これは、1つのベースラインを上回るのではなく、多くのベースラインを上回ることを奨励します。

何がオープンで何がクローズドか？

オープン（Apache-2.0）	クローズド（Simrealサービス）
タスクカタログ、プロトコル、スコアリングコード、SDK、例、テスト、レポート	ゲートウェイ、コントローラー、ワーカーキュー、提出ブローカー、公式スコアリングルート

状態

カタログとツールはリリース済み（35テスト成功）ですが、現時点で60タスクのうち3つだけがエンドツーエンドで検証されています。フルスイートの承認とパブリックリーダーボードの計画があります。READMEには、将来の研究方向も記載されています：このベンチマークをRLVR（検証可能な報酬付き強化学習）や再帰的自己改善 — エージェントが自身の研究スキルを時間とともに向上させる — に活用すること。ただし、まだ訓練済みの結果は含まれていません。

まとめ

OpenAIのMLE-benchにインスパイアされたが、独自のスコアリング方式、リソースプロトコル、そして意図的なオープンルール／会社運営ランタイムの分離を特徴とする、ML研究エージェント向けの真剣で洗練された評価フレームワーク。まだ初期段階です：完全なベンチマークはエンドツーエンドで検証されておらず、公式評価サービスの利用には会社に連絡する必要があります。