NVIDIA Kumo Relational: 지도 학습 없이 관계형 데이터에서 지도 ML을 능가하다

NVIDIA Kumo Relational은 기업 데이터베이스에서 직접 예측 쿼리를 수행하도록 설계된 사전 훈련된 관계형 기반 모델입니다. 최대 10,000개의 과거 예제를 컨텍스트로 수집하여 Kumo Relational은 단일 순방향 패스에서 이탈, 수요 또는 사기와 같은 결과를 예측하며, 작업별 훈련, 특성 엔지니어링 또는 테이블 평탄화가 필요 없습니다.

Kumo Relational은 일반적인 관계형 벤치마크에서 지도 머신러닝을 능가하는 최초의 퓨샷 기반 모델입니다. 15개 데이터베이스의 41개 작업에서 관계형 딥러닝 모델과 전문가가 엔지니어링한 그래디언트 부스팅 트리 파이프라인을 능가합니다. 또한 SAP SALT 엔터프라이즈 벤치마크에서는 평균 상호 순위(MRR)에서 AutoGluon 앙상블을 8% 능가합니다. 이 모델은 5,000억 개 이상의 행을 포함하는 데이터베이스로 확장되며, NVIDIA의 오픈 소스 GPU 네이티브 structured-data-models 라이브러리 또는 NVIDIA NIM으로 제공됩니다.

구조화 데이터 기반 모델로의 전환

구조화 데이터 기반 모델은 관계형 데이터베이스에서 예측 모델링이 수행되는 방식에 패러다임 전환을 주도하고 있으며, 이는 자연어 처리(NLP)에 대한 대규모 언어 모델(LLM)의 영향과 유사합니다.

전통적으로 관계형 데이터베이스에서의 예측 모델링은 광범위한 특성 엔지니어링, 작업별 훈련 및 튜닝된 파이프라인이 필요했습니다. 구조화 데이터 기반 모델은 세 가지 주요 이점을 제공하여 이 프로세스를 단순화합니다:

오늘날 더 나은 정확도

드롭인 대체품으로서 이러한 기반 모델은 이미 많은 기존 프로덕션 파이프라인, 특히 XGBoost를 능가합니다. RelBench V1 분류 작업에서 Kumo Relational은 전문가가 엔지니어링한 특성을 사용하는 그래디언트 부스팅 트리를 평균 약 4 AUROC 포인트 능가합니다. SAP SALT 벤치마크에서는 엔지니어링된 특성의 XGBoost를 기본 상태에서 7 MRR 포인트, 미세 조정 후 13 MRR 포인트 능가합니다. 이러한 결과는 기존 XGBoost 파이프라인을 Kumo Relational로 대체하는 것을 뒷받침합니다.

단순성과 민첩성

단일 사전 훈련된 모델이 개별 작업에 필요한 여러 개별 파이프라인을 대체합니다. 이를 통해 새로운 예측을 복잡한 프로젝트가 아닌 쿼리로 구성할 수 있어 ML 팀이 이전에는 너무 노동 집약적이었던 사용 사례를 처리할 수 있습니다.

예측 에이전트 지원

구조화 데이터 기반 모델은 AI 에이전트가 고객 이탈 예측과 같은 미래 이벤트를 예측하고 이러한 예측에 따라 행동할 수 있게 합니다. Kumo Relational은 예측 쿼리 언어(PQL)를 사용하여 예측 질문을 위한 간단한 인터페이스를 제공함으로써 에이전트가 호출할 수 있도록 설계되었습니다.

Kumo Relational 아키텍처 및 작동

실제 데이터를 단일 테이블로 평탄화해야 하는 대부분의 구조화 데이터 기반 모델과 달리 Kumo Relational은 관계형 데이터베이스 구조에서 직접 작동하며 테이블, 외래 키 및 타임스탬프를 존중합니다. 이 모델은 합성 관계형 데이터로 사전 훈련되며 추론 중에 최대 10,000개의 컨텍스트 예제를 읽는 인컨텍스트 학습을 사용하여 새 작업에 적응합니다.

예측 쿼리 언어(PQL)

작업은 예측 쿼리 언어(PQL)를 사용하여 정의되며, 이는 무엇을 예측할지 지정하는 선언적 인터페이스로 어떻게 계산할지 지정하지 않습니다. 시간적 작업의 경우 Kumo Relational은 과거 데이터베이스 상태를 재생합니다. 앵커 타임스탬프까지 엔터티 중심 하위 그래프를 샘플링하고 해당 타임스탬프 이후 발생한 이벤트에서 대상을 계산하여 데이터 누출을 방지합니다.

다단계 추론 프로세스

예측을 생성하기 위해 Kumo Relational은 세 가지 별개의 단계를 수행합니다:

자동 컨텍스트 생성: 시스템은 PQL 쿼리를 기반으로 엔터티 중심 하위 그래프를 샘플링하고 필요한 과거 컨텍스트를 준비합니다.
테이블 내 추론: 경량 네트워크가 각 테이블을 독립적으로 처리합니다. 열 주의(열 내 값 관련)와 행 주의(행 내 특성 관련)를 번갈아 가며 노이즈를 필터링하여 현재 예측에 관련된 열과 행을 결정합니다.
테이블 간 추론: 더 큰 네트워크가 기본 키/외래 키 관계에 대한 그래프 주의를 사용하여 관계형 구조 전체에 행 임베딩을 분배합니다. 이는 컨텍스트 예제 간의 교차 샘플 주의와 인터리브되어 사용자 프로필을 거래 내역에 연결하는 것과 같은 관계형 추론을 가능하게 합니다. 이 설계는 2차 비용을 피하고 큰 컨텍스트와 더 깊은 하위 그래프로 확장됩니다.

훈련 및 구현

Kumo Relational은 실제 데이터베이스와 다양한 예측 쿼리를 시뮬레이션하는 완전히 합성된 관계형 데이터로 사전 훈련됩니다. 생성 프로세스는 단일 테이블 데이터 생성기를 전체 관계형 데이터베이스로 확장하는 PluRel 접근 방식을 기반으로 합니다.

합성 데이터 생성

PluRel은 각 데이터베이스를 세 단계로 생성합니다: 스키마 정의, 실제 데이터처럼 클러스터링되는 외래 키 링크 설정, 시간적 추세와 테이블 간 종속성을 포함하는 구조적 인과 모델을 사용하여 열 값 생성. 이 경량 생성은 사실상 무제한의 사전 훈련 데이터를 허용하며, 연구에 따르면 합성 데이터베이스가 추가됨에 따라 사전 훈련 손실이 멱법칙을 따릅니다.

배포 및 사용

Kumo Relational은 두 가지 주요 방법으로 제공됩니다:

Structured-Data-Models 라이브러리: 모델은 NVIDIA의 GPU 네이티브 structured-data-models 라이브러리를 통해 메모리에 로드할 수 있어 GPU 기반 노트북에서 직접 예측할 수 있습니다.
NVIDIA NIM: 별도 서비스로 배포하려면 Kumo Relational을 NVIDIA NIM으로 배포할 수 있으며, 이는 오픈 소스 structured-data-models-client를 통해 액세스됩니다.

성능 및 벤치마크

Kumo Relational은 RelBench V1 및 V2, SAP SALT, 4DBInfer의 15개 관계형 데이터베이스에서 41개 벤치마크로 평가되었으며, 전자 상거래, 의료 및 엔터프라이즈와 같은 도메인을 다룹니다. 이러한 데이터 세트는 사전 훈련 단계에서 사용되지 않았습니다.

벤치마크 결과

RelArena-α: RelArena-α 리더보드에서 Kumo Relational은 기본 상태에서 정확도-효율성 파레토 최적선에 위치합니다. 1,000개 샘플당 약 17초의 중간 추론 시간으로 Elo 1,842를 달성합니다. 이는 유사한 정확도에서 최고 점수 항목(rt-plurel)보다 약 430배 빠릅니다.
SAP SALT: SAP SALT 엔터프라이즈 벤치마크에서 Kumo Relational은 평균 상호 순위(MRR)에서 대규모 AutoGluon 앙상블을 8%, 최근 테이블 기반 모델을 약 25% 능가합니다. 모델을 미세 조정하면 AutoGluon에 대한 우위가 16%로 확장됩니다.

견고성

이 모델은 훈련 데이터의 0.2%만 컨텍스트로 제공되어도 잘 작동하는 강력한 견고성을 보여줍니다. 외래 키 링크의 최대 75%가 제거되어도 안정적으로 유지되며, 많은 노이즈 열이 추가되어도 최소한의 성능 저하를 보입니다.

제한 사항

Kumo Relational은 시간에 따른 사용자 행동 추적과 같은 의미 있는 관계와 시간적 역학을 가진 데이터에서 최적으로 작동합니다. 매우 큰 훈련 세트가 포함된 작업의 경우 Kumo Relational의 벤치마크가 최대 10,000개의 컨텍스트 예제를 사용했기 때문에 작업별 지도 모델이 인컨텍스트 예측보다 더 높은 정확도를 달성할 수 있습니다. 또한 예측 신호는 제한된 홉 수 내에서 도달할 수 있어야 하므로 사용자는 몇 개의 관련 테이블에 대한 집중 쿼리로 시작하고 필요에 따라 그래프를 확장해야 합니다.