NVIDIA-NeMo/Curator

解決する課題

NeMo Curatorは、AIトレーニングのための大規模データセットを準備するという課題に対処します。アドホックなスクリプトや使い捨てのノートブックを、単一のラップトップからマルチノードGPUクラスターまでスケール可能な、再現性のあるGPUアクセラレーションされたパイプラインに置き換え、フィルタリング、重複排除、変換を通じて高品質なデータを保証します。

仕組み

このシステムは、ステージとエグゼキューターに基づくモジュラーアーキテクチャを使用します。各ステージは、データのロード、フィルタリング、重複排除などの特定のタスクを処理し、独自のリソース要件を宣言します。これらのステージはパイプラインに連結され、データを並行してストリーミングし、CPUとGPUの作業をオーバーラップさせてハードウェアの利用率を最大化します。NVIDIA RAPIDS（cuDF、cuML、cuGraph）とRayを活用して、分散環境全体で高いスループットを実現します。

対象者

最先端のAIモデルをトレーニングするために、大規模なマルチモーダルデータセット（テキスト、画像、ビデオ、オーディオ）を処理およびキュレーションする必要があるMLエンジニアとデータチーム。

主な特長

• マルチモーダルサポート: テキスト（重複排除、言語検出）、画像（美的フィルタリング、NSFW検出）、ビデオ（シーン検出、モーションフィルタリング）、オーディオ（ASR文字起こし、品質評価）のための既製のビルディングブロック。
• GPUアクセラレーション: データ処理における大幅な高速化。例えば、H100ノードでのファジー重複排除時間を10.7時間から0.65時間に短縮。
• 分散スケーリング: RayとSlurmのネイティブサポートにより、パイプラインをマルチノードHPCクラスター全体で実行可能。
• 合成データ生成: OpenAI互換の推論サーバーを含み、LLMベースの合成データワークフローをパイプラインに直接統合。
• 大規模での実績: NVIDIA Nemotronモデルのための8兆トークンを超える多言語ウェブデータセットのキュレーションに使用。