NVIDIA Kumo Relational: リレーショナルデータにおける教師ありMLをトレーニングなしで上回る

NVIDIA Kumo Relationalは、エンタープライズデータベース上で直接予測クエリを実行するために設計された、事前学習済みのリレーショナル基盤モデルです。最大10,000件の履歴例をコンテキストとして収集することで、Kumo Relationalはチャーン、需要、不正などの結果を単一のフォワードパスで予測し、タスク固有のトレーニング、特徴量エンジニアリング、テーブルのフラット化を必要としません。

Kumo Relationalは、一般的なリレーショナルベンチマークにおいて教師あり機械学習を上回る初の数ショット基盤モデルです。15のデータベース上の41タスクにおいて、教師ありリレーショナル深層学習モデルや、専門家が設計した勾配ブースティングツリーパイプラインを上回ります。さらに、SAP SALTエンタープライズベンチマークでは、AutoGluonアンサンブルを平均逆順位（MRR）で8%上回ります。このモデルは5,000億行を超えるデータベースにスケーリングでき、NVIDIAのオープンソースでGPUネイティブなstructured-data-modelsライブラリまたはNVIDIA NIMとして利用可能です。

構造化データ基盤モデルへのシフト

構造化データ基盤モデルは、リレーショナルデータベースでの予測モデリングの方法にパラダイムシフトをもたらしており、これは大規模言語モデル（LLM）が自然言語処理（NLP）に与えた影響を反映しています。

従来、リレーショナルデータベースでの予測モデリングには、広範な特徴量エンジニアリング、タスク固有のトレーニング、調整されたパイプラインが必要でした。構造化データ基盤モデルは、このプロセスを簡素化し、3つの主要な利点を提供します。

今日の精度向上

ドロップイン置換として、これらの基盤モデルは既に多くの既存の本番パイプライン、特にXGBoostを上回っています。RelBench V1分類タスクでは、Kumo Relationalは専門家が設計した特徴量を使用した勾配ブースティングツリーを平均で約4 AUROCポイント上回ります。SAP SALTベンチマークでは、エンジニアリングされた特徴量を使用したXGBoostを、そのままの状態で7 MRRポイント、ファインチューニング後には13 MRRポイント上回ります。これらの結果は、本番のXGBoostパイプラインをKumo Relationalに置き換えることを支持しています。

シンプルさと俊敏性

単一の事前学習済みモデルが、個々のタスクに必要な複数の別々のパイプラインを置き換えます。これにより、新しい予測を複雑なプロジェクトではなくクエリとして定義できるようになり、MLチームは以前は労働集約的すぎたユースケースに取り組むことができます。

予測エージェントの実現

構造化データ基盤モデルにより、AIエージェントは顧客チャーンの予測などの将来のイベントを予測し、その予測に基づいて行動することができます。Kumo Relationalは、エージェントから呼び出されるように構築されており、予測クエリ言語（PQL）を使用して予測質問を行うためのシンプルなインターフェースを提供します。

Kumo Relationalのアーキテクチャと動作

実世界のデータを単一のテーブルにフラット化する必要があるほとんどの構造化データ基盤モデルとは異なり、Kumo Relationalはリレーショナルデータベース構造上で直接動作し、テーブル、外部キー、タイムスタンプを尊重します。このモデルは合成リレーショナルデータで事前学習され、推論中に最大10,000件のコンテキスト例を読み取るインコンテキスト学習を使用して新しいタスクに適応します。

予測クエリ言語（PQL）

タスクは予測クエリ言語（PQL）を使用して定義されます。これは、計算方法ではなく予測する内容を指定する宣言型インターフェースです。時間的タスクの場合、Kumo Relationalは履歴データベース状態を再生します。アンカータイムスタンプまでのエンティティ中心のサブグラフをサンプリングし、そのタイムスタンプ以降に発生したイベントからターゲットを計算するため、データリークを防ぎます。

多段階推論プロセス

予測を生成するために、Kumo Relationalは3つの異なるステップを実行します。

自動コンテキスト生成: システムはPQLクエリに基づいてエンティティ中心のサブグラフをサンプリングし、必要な履歴コンテキストを準備します。
テーブル内推論: 軽量ネットワークが各テーブルを独立して処理します。列アテンション（列内の値の関連付け）と行アテンション（行内の特徴量の関連付け）を交互に行い、ノイズをフィルタリングして現在の予測に関連する列と行を決定します。
テーブル間推論: より大きなネットワークが、主キー/外部キー関係上のグラフアテンションを使用して行埋め込みをリレーショナル構造全体に分散します。これはコンテキスト例間のクロスサンプルアテンションとインターリーブされ、ユーザーのプロファイルを取引履歴にリンクするなどのリレーショナル推論を可能にします。この設計は二次コストを回避し、大規模なコンテキストとより深いサブグラフにスケーリングします。

トレーニングと実装

Kumo Relationalは、実世界のデータベースと多様な予測クエリをシミュレートする完全に合成のリレーショナルデータで事前学習されます。生成プロセスは、単一テーブルのデータジェネレータを完全なリレーショナルデータベースに拡張するPluRelアプローチに基づいています。

合成データ生成

PluRelは各データベースを3つの段階で生成します：スキーマの定義、実データのようにクラスタリングする外部キーリンクの確立、時間的傾向とクロステーブル依存関係を含む構造的因果モデルを使用した列値の生成。この軽量な生成により、事実上無制限の事前学習データが可能になり、研究によると、合成データベースが追加されるにつれて事前学習損失はべき乗則に従います。

デプロイと使用法

Kumo Relationalは2つの主要な方法で利用可能です。

Structured-Data-Modelsライブラリ: モデルはNVIDIAのGPUネイティブなstructured-data-modelsライブラリを通じてメモリにロードでき、GPUバックアップのノートブックから直接予測できます。
NVIDIA NIM: 別のサービスとしてデプロイする場合、Kumo RelationalはNVIDIA NIMとしてデプロイでき、オープンソースのstructured-data-models-clientを介してアクセスされます。

パフォーマンスとベンチマーク

Kumo Relationalは、RelBench V1およびV2、SAP SALT、4DBInferからの15のリレーショナルデータベースにわたる41のベンチマークで評価され、eコマース、医療、エンタープライズなどのドメインをカバーしています。これらのデータセットは事前学習フェーズでは使用されていません。

ベンチマーク結果

RelArena-α: RelArena-αリーダーボードでは、Kumo Relationalはそのままの状態で精度効率のパレートフロントに位置します。Elo 1,842を達成し、1,000サンプルあたりの中央値推論時間は約17秒です。これにより、同様の精度で最高スコアのエントリ（rt-plurel）よりも約430倍高速です。
SAP SALT: SAP SALTエンタープライズベンチマークでは、Kumo Relationalは大規模なAutoGluonアンサンブルを平均逆順位（MRR）で8%、最近の表形式基盤モデルを約25%上回ります。モデルのファインチューニングにより、AutoGluonに対するリードは16%に拡大します。

堅牢性

このモデルは強力な堅牢性を示し、トレーニングデータのわずか0.2%をコンテキストとして提供された場合でも良好に機能します。外部キーリンクの最大75%が削除された場合でも安定しており、多くのノイズの多い列が追加された場合でも最小限の劣化しか示しません。

制限事項

Kumo Relationalは、ユーザーの行動を時間とともに追跡するなど、意味のある関係と時間的ダイナミクスを持つデータで最適に機能します。非常に大規模なトレーニングセットを含むタスクでは、Kumo Relationalのベンチマークが最大10,000件のコンテキスト例を使用したため、タスク固有の教師ありモデルがインコンテキスト予測よりも高い精度を達成する場合があります。さらに、予測シグナルは限られたホップ数内で到達可能である必要があります。ユーザーはいくつかの関連テーブルに対する焦点を絞ったクエリから始め、必要に応じてグラフを拡張する必要があります。