DALI: 一個用於加速數據加載與預處理的 GPU 加速庫，消除深度學習流水線中的 CPU 瓶頸

它解決了什麼問題

NVIDIA DALI (Data Loading Library) 消除了深度學習流水線中的 CPU 瓶頸。在傳統的工作流程中，數據加載與預處理（例如解碼、裁剪與調整大小）是由 CPU 處理的，這往往會限制訓練與推理的整體性能與可擴展性。

它是如何運作的

DALI 將數據預處理任務卸載到 GPU。它使用專用的執行引擎，透過透明的預取、並行執行與批次處理來最大化吞吐量。它提供功能性的 Python API，並支援用於定義圖形的 "Pipeline mode" 與用於更靈活執行的 "Dynamic mode"。

對象是誰

處理圖像、影片與音訊數據，並需要透過加速其在 PyTorch、TensorFlow、JAX 與 PaddlePaddle 等框架下的輸入流水線來最大化 GPU 利用率的深度學習從業者與研究人員。

重點特性

• 多格式支援：支援廣泛的格式，包括 JPEG、JPEG 2000、WAV、FLAC、OGG、H.264、VP9、HEVC、LMDB 與 TFRecord。
• 框架可移植性：可作為 PyTorch、TensorFlow、JAX 與 PaddlePaddle 中數據加載器的直接替換方案。
• 硬體加速：支援 CPU 與 GPU 執行，並可跨多個 GPU 進行擴展。
• 直接數據路徑：透過 GPUDirect Storage 實現存儲與 GPU 記憶體之間的直接路徑。
• 可擴展性：允許開發者建立自定義的流水線與算子。
• Triton 整合：可輕鬆與 NVIDIA Triton Inference Server 整合。