stanford-star/relbench

RelBench – リレーショナルデータベース上のディープラーニングのベンチマーク

概要 – RelBenchは、研究者やエンジニアがリレーショナルデータベース上で直接機械学習モデル（特にグラフニューラルネットワーク）を訓練・評価できるようにするオープンソースのベンチマークスイートです。実世界の関連データセットのコレクション、統一されたタスクAPI、および公開リーダーボードを提供します。

重要性 – ほとんどの機械学習の取り組みは、フラットなテーブルや単一テーブルの予測に焦点を当てています。リレーショナルデータ（リンクされた複数のテーブル）は業界では一般的ですが、ニューラルネットワークへの入力は困難です。RelBenchはこの問題を標準化し、すぐに読み込めるデータセット、時系列の訓練/検証/テスト分割、および共通の評価プロトコルを提供することで、新しい手法を公平に比較できるようにします。

主要コンポーネント

Pythonパッケージ (relbench) – PyPI経由でインストール可能です。Hugging Face hubからデータセットとタスクを取得し、Databaseオブジェクト（生のテーブル）とTaskオブジェクト（訓練/検証/テストのラベルテーブル、メトリクス計算機）を返します。あらゆるMLスタックで動作し、例ではPyTorch Geometric + PyTorch Frameを使用しています。
データセットとタスク – コアセット（例：rel-f1）から始まり、現在ではSALT、RateBeer、arXiv、MIMIC-IV、さらにReDeLEx統合による70以上のCTUデータベースや4DBInferテーブルが含まれています。各データセットは自己記述型のフォルダー（manifest.yaml + parquetテーブル + タスク定義）として提供されます。
リーダーボード – 3つのボード（分類、回帰、レコメンデーション）があります。提出はタスクごとにシンプルなCSVファイルで行い、CLIコマンド python -m relbench.submit が検証、パッケージ化、GitHub issueの作成を行い、オプションで自動化されたエージェントによる提出も可能です。
BYOD (Bring-Your-Own-Data) – ユーザーは独自のRelBench形式のフォルダーを作成し、Hugging Faceに公開できます。中央レジストリは不要で、ライブラリは org/repo[/subdir] アドレスを介して直接読み込むことができます。
チュートリアルと例 – クイックスタート用のColabノートブック、完全なGNNベースライン、および examples/ ディレクトリ内の実行可能なスクリプトを提供しています。

典型的なワークフロー

import relbench

ds = relbench.load_dataset("rel-f1")          # HF hubから取得
db = ds.get_db()                               # 生のリレーショナルテーブル
task = ds.load_task("driver-position")        # 例：エンティティ予測タスク
train = task.get_table("train")
# `db` + `train` でモデルを訓練
pred = model.predict(db, test_entities)
score = task.evaluate(pred)                    # タスク固有のメトリクスを使用

このライブラリは、時系列分割のために ds.val_timestamp と ds.test_timestamp も公開しています。

対象ユーザー – リレーショナルディープラーニングモデルを開発する研究者、マルチテーブル予測のためのプラグアンドプレイなベンチマークを求めるデータサイエンティスト、および共通の実世界タスクセット上でGNNベースやその他のリレーショナルML手法を比較したい方。

詳細情報 – プロジェクトウェブサイト、Hugging Faceデータセットhub、arXiv論文（NeurIPS 2024およびICLR 2026）、およびコード、リーダーボード、貢献ガイドを含むGitHubリポジトリを参照してください。