NVIDIA-Merlin/Merlin

NVIDIA Merlin is an open source library providing end-to-end GPU-accelerated recommender systems, from feature engineering and preprocessing to training deep learning models and running inference in production.

What it solves

NVIDIA Merlin 解決了建置與擴展高效能推薦系統的挑戰。它特別針對特徵工程、訓練大規模深度學習模型以及將模型部署到生產環境的瓶頸，尤其是當資料集規模達到數百 TB 時。

How it works

Merlin 是一套 GPU 加速的函式庫，優化推薦管線的每個階段：

  • NVTabular: 使用 GPU 加速處理巨量表格資料的 ETL 與特徵工程。
  • HugeCTR: 為大規模嵌入表設計的訓練框架，可跨多個 GPU 與節點擴展。
  • Merlin Models: 提供標準推薦模型架構與針對 TensorFlow、PyTorch、FastAI 優化的資料載入器。
  • Transformers4Rec: 專注於序列與會話型推薦，使用相容於 PyTorch 的模組化建構塊。
  • Merlin Systems: 將模型與特徵庫、最近鄰搜尋整合，打造透過 Triton Inference Server 提供服務的端到端管線。
  • Merlin Core: 提供整個生態系統共用的資料集抽象與通用 schema。

Who it’s for

此套件設計給資料科學家、機器學習工程師與研究人員，讓他們能建構超出單一 GPU 或 CPU 記憶體限制的工業級推薦系統。

Highlights

  • Massive Scalability: 最佳化以支援高達數百 TB 的資料集。
  • GPU Acceleration: 利用 RAPIDS cuDF 與 Dask 進行快速資料操作與分散式處理。
  • Memory Management: 能分散大型嵌入表，超出可用的 GPU 與 CPU 記憶體。
  • End-to-End Pipeline: 從原始資料前處理到使用 Triton Inference Server 的生產服務，涵蓋完整生命週期。