NVIDIA-NeMo/Curator

解決する課題

NeMo Curatorは、AIトレーニング用の大規模データセットの準備という課題に対処します。アドホックなスクリプトやノートブックに代わり、マルチノードクラスター全体で数兆トークンまたは膨大な量のマルチモーダルデータ（テキスト、画像、動画、音声）を処理できる、再現可能なGPU加速パイプラインを提供します。

仕組み

このシステムは、stages（ステージ）とexecutors（エグゼキューター）に基づくモジュール式アーキテクチャを採用しています。各ステージは、データのロード、フィルタリング、重複排除、変換などの特定のタスクを実行し、独自の計算リソース要件を宣言します。これらのステージはパイプラインとして連鎖され、タスクを並行してストリーミングし、CPUとGPUの作業をオーバーラップさせることでハードウェアの利用率を最大化します。デフォルトの実行エンジンは XennaExecutor ですが、Rayベースのバックエンドもサポートされています。NVIDIA RAPIDS (cuDF, cuML, cuGraph) を活用することで、高いスループットを実現し、GPU間でのスケーリングを可能にします。

対象ユーザー

大規模なAIモデルトレーニングのために、プロダクショングレードのデータキュレーションパイプラインを構築する必要があるMLエンジニアやデータチーム、特にNemotronのようなNVIDIAのトレーニングワークフローを使用しているチーム向けに設計されています。

ハイライト

• マルチモーダル対応: テキスト（重複排除、分類）、画像（美学的/NSFWフィルタリング）、動画（シーン検出、クリップ抽出）、音声（ASR文字起こし、品質評価）のための既製のビルディングブロック。
• GPU加速: ファジー重複排除などのデータ集約型のタスクにおいて、CPUベースの代替手段と比較して大幅な高速化を実現。
• 分散実行: 単一のノートPCから、マルチノードのRayまたはSlurmクラスターまで、同じパイプラインを実行可能。
• 統合推論: パイプライン内での合成データ生成 (SDG) および分類のために、OpenAI互換のLLMエンドポイントを含む。
• 大規模での実績: NVIDIA Nemotronモデルのデータパイプラインを支え、8兆トークン以上を処理。