NVIDIA-NeMo/Curator

解决的问题

NeMo Curator 解决了为 AI 训练准备海量数据集的挑战。它用可重复、GPU 加速的流水线取代了临时脚本和一次性笔记本，这些流水线可以从单台笔记本电脑扩展到多节点 GPU 集群，通过过滤、去重和转换确保高质量数据。

工作原理

该系统采用基于阶段和执行器的模块化架构。每个阶段处理特定任务（如加载、过滤或去重数据），并声明自己的资源需求。这些阶段被链接成流水线，并发流式处理数据，重叠 CPU 和 GPU 工作以最大化硬件利用率。它利用 NVIDIA RAPIDS（cuDF、cuML、cuGraph）和 Ray 在分布式环境中实现高吞吐量。

适用对象

需要处理和整理大规模多模态数据集（文本、图像、视频和音频）以训练前沿 AI 模型的机器学习工程师和数据团队。

亮点

• 多模态支持：现成的构建块，用于文本（去重、语言检测）、图像（美学过滤、NSFW 检测）、视频（场景检测、运动过滤）和音频（ASR 转录、质量评估）。
• GPU 加速：数据处理速度显著提升，例如在 H100 节点上将模糊去重时间从 10.7 小时减少到 0.65 小时。
• 分布式扩展：原生支持 Ray 和 Slurm，允许流水线在多节点 HPC 集群上运行。
• 合成数据生成：包含一个兼容 OpenAI 的推理服务器，可直接将基于 LLM 的合成数据工作流集成到流水线中。
• 大规模验证：用于整理 NVIDIA Nemotron 模型的 8+ 万亿 token 多语言网络数据集。