DALI: 一个消除深度学习流水线中 CPU 瓶颈的 GPU 加速数据加载与预处理库

它解决了什么问题

NVIDIA DALI (Data Loading Library) 消除了深度学习流水线中的 CPU 瓶颈。在传统的工作流程中，数据加载和预处理（如解码、裁剪和调整大小）由 CPU 处理，这往往会限制训练和推理的整体性能和可扩展性。

它是如何工作的

DALI 将数据预处理任务卸载到 GPU。它使用专门设计的执行引擎，通过透明预取、并行执行和批处理来最大化吞吐量。它提供了一个功能性的 Python API，并支持用于定义图的 "Pipeline mode" 以及用于更灵活执行的 "Dynamic mode"。

它是面向谁的

处理图像、视频和音频数据的深度学习从业者和研究人员，需要通过在 PyTorch、TensorFlow、JAX 和 PaddlePaddle 等框架中加速其输入流水线来最大化 GPU 利用率。

亮点

• 多格式支持：支持广泛的格式，包括 JPEG、JPEG 2000、WAV、FLAC、OGG、H.264、VP9、HEVC、LMDB 和 TFRecord。
• 框架可移植性：可作为 PyTorch、TensorFlow、JAX 和 PaddlePaddle 中数据加载器的即插即用替代方案。
• 硬件加速：支持 CPU 和 GPU 执行，并可在多个 GPU 之间进行扩展。
• 直接数据路径：通过 GPUDirect Storage 实现存储与 GPU 显存之间的直接路径。
• 可扩展性：允许开发者创建自定义流水线和算子。
• Triton 集成：可以轻松地与 NVIDIA Triton Inference Server 集成。