NVIDIA Kumo Relational：在关系数据上无需训练即可超越监督式机器学习

NVIDIA Kumo Relational 是一个预训练的关系基础模型，旨在直接对企业数据库进行预测性查询。通过收集多达 10,000 个历史示例作为上下文，Kumo Relational 可以在单次前向传播中预测诸如流失、需求或欺诈等结果，无需特定任务的训练、特征工程或表扁平化。

Kumo Relational 是第一个在常见关系基准上超越监督式机器学习的少样本基础模型。在 15 个数据库的 41 个任务中，它击败了监督式关系深度学习模型和专家设计的梯度提升树管道。此外，在 SAP SALT 企业基准上，它在平均倒数排名（MRR）上超越了 AutoGluon 集成模型 8%。该模型可扩展到包含超过 5000 亿行的数据库，并可通过 NVIDIA 的开源、GPU 原生 structured-data-models 库或作为 NVIDIA NIM 使用。

向结构化数据基础模型的转变

结构化数据基础模型正在推动关系数据库预测建模方式的范式转变，类似于大型语言模型（LLM）对自然语言处理（NLP）的影响。

传统上，关系数据库上的预测建模需要大量的特征工程、特定任务的训练和调优的管道。结构化数据基础模型通过提供三个关键优势简化了这一过程：

如今更高的准确性

作为即插即用的替代品，这些基础模型已经超越了许多现有的生产管道，尤其是 XGBoost。在 RelBench V1 分类任务上，Kumo Relational 在使用专家设计特征的情况下，平均比梯度提升树高出近 4 个 AUROC 点。在 SAP SALT 基准上，它开箱即用地在工程特征上比 XGBoost 高出 7 个 MRR 点，微调后高出 13 个 MRR 点。这些结果支持用 Kumo Relational 替换生产中的 XGBoost 管道。

简单性和敏捷性

一个预训练模型取代了单个任务所需的多个独立管道。这使得新的预测可以被定义为查询而不是复杂的项目，从而使机器学习团队能够处理以前过于劳动密集型的用例。

支持预测代理

结构化数据基础模型允许 AI 代理预测未来事件，例如预测客户流失，并随后根据这些预测采取行动。Kumo Relational 被设计为可被代理调用，使用其预测查询语言（PQL）提供简单的接口来提出预测性问题。

Kumo Relational 架构与操作

与大多数需要将现实世界数据扁平化为单个表的结构化数据基础模型不同，Kumo Relational 直接操作关系数据库结构，尊重表、外键和时间戳。该模型在合成关系数据上进行预训练，并通过上下文学习适应新任务，在推理期间读取多达 10,000 个上下文示例。

预测查询语言（PQL）

任务使用预测查询语言（PQL）定义，这是一种声明式接口，指定要预测什么而不是如何计算。对于时间任务，Kumo Relational 会重放历史数据库状态。它采样以实体为中心的子图，直到锚定时间戳，并根据该时间戳之后发生的事件计算目标，这可以防止数据泄漏。

多阶段推理过程

为了生成预测，Kumo Relational 执行三个不同的步骤：

  1. 自动上下文生成： 系统根据 PQL 查询采样以实体为中心的子图，并准备必要的历史上下文。
  2. 表内推理： 一个轻量级网络独立处理每个表。它在列注意力（关联列内的值）和行注意力（关联行内的特征）之间交替，过滤噪声以确定当前预测相关的列和行。
  3. 跨表推理： 一个更大的网络通过主键/外键关系上的图注意力将行嵌入分布到关系结构中。这与跨上下文样本的交叉样本注意力交错进行，从而实现关系推理，例如将用户的个人资料与其交易历史关联起来。这种设计避免了二次成本，并可扩展到大型上下文和更深的子图。

训练与实现

Kumo Relational 在完全合成的、模拟现实世界数据库和多样化预测查询的关系数据上进行预训练。生成过程基于 PluRel 方法，该方法将单表数据生成器扩展到完整的关系数据库。

合成数据生成

PluRel 分三个阶段生成每个数据库：定义模式、建立像真实数据一样聚簇的外键链接，以及使用包括时间趋势和跨表依赖性的结构因果模型生成列值。这种轻量级生成允许几乎无限的预训练数据，研究表明，随着合成数据库的添加，预训练损失遵循幂律。

部署与使用

Kumo Relational 可通过两种主要方式使用：

  • Structured-Data-Models 库： 该模型可以通过 NVIDIA 的 GPU 原生 structured-data-models 库加载到内存中，允许从 GPU 支持的笔记本直接进行预测。
  • NVIDIA NIM： 为了作为独立服务部署，Kumo Relational 可以部署为 NVIDIA NIM，通过开源的 structured-data-models-client 访问。

性能与基准

Kumo Relational 在来自 RelBench V1 和 V2、SAP SALT 和 4DBInfer 的 15 个关系数据库的 41 个基准上进行了评估，涵盖电子商务、医疗和企业等领域。这些数据集均未在预训练阶段使用。

基准结果

  • RelArena-α： 在 RelArena-α 排行榜上，Kumo Relational 开箱即用地位于准确率-效率帕累托前沿。它实现了 1,842 的 Elo 评分，每 1,000 个样本的中位推理时间约为 17 秒。这使得它在相似准确率下比得分最高的条目（rt-plurel）快约 430 倍。
  • SAP SALT： 在 SAP SALT 企业基准上，Kumo Relational 在平均倒数排名（MRR）上超越大型 AutoGluon 集成模型 8%，并超越最近的表格基础模型约 25%。微调模型将其对 AutoGluon 的领先优势扩大到 16%。

鲁棒性

该模型表现出强大的鲁棒性，在仅提供 0.2% 的训练数据作为上下文时表现良好。即使多达 75% 的外键链接被移除，它仍然保持稳定，并且在添加许多噪声列时表现出最小的性能下降。

局限性

Kumo Relational 在具有有意义的关系和时间动态的数据上表现最佳，例如随时间跟踪用户行为。对于涉及极大训练集的任务，特定任务的监督模型可能仍然比上下文预测实现更高的准确率，因为 Kumo Relational 的基准使用了最多 10,000 个上下文示例。此外，预测信号必须在有限的跳数内可达；用户应从对几个相关表的聚焦查询开始，并根据需要扩展图。

Sources