datajuicer/data-juicer

Data‑Juicer: AI のためのデータオペレーティングシステム

概要 – Data‑Juicer (DJ) は、基盤モデルのデータ準備を構成可能でクラウドネイティブなワークフローとして扱うオープンソースライブラリです。Python パッケージ（py-data-juicer）と CLI（dj‑process）が付属しており、テキスト、画像、音声、ビデオ、マルチモーダルデータをカバーする 200 以上の再利用可能なオペレーター（フィルター、マッパー、アナライザー）からパイプラインを構築できます。

重要性 – 最新の LLM やマルチモーダルモデルのトレーニングには、数十億の高品質なサンプルが必要です。そのデータのクリーニング、重複排除、チャンク化、アノテーションは大規模なエンジニアリング作業です。DJ はこれらのステップを再利用可能でバージョン管理可能な YAML レシピと、ラップトップから数千ノードのクラスターまでカスタムグルーコードなしで実行できるスケーラブルな実行エンジン（Ray ベース）に抽象化します。

主な機能

• モジュール式オペレーター – 200 以上の組み込みオペレーション。pip プラグインを介してサードパーティのオペレーションも追加できます。
• レシピファーストのパイプライン – YAML ファイルがオペレーターチェーンを記述します。共有可能で再現可能です。
• スケーラブルな実行 – Ray パーティション実行器、自動 GPU/CPU リソース計画、MinHash 重複排除、CUDA アクセラレーションマッパー。50 ノードで 2 時間に 700 億サンプルを処理できると報告されています。
• 可観測性 – 組み込みのトレーシング、統計収集、ビジュアル分析 UI。
• ドメイン固有の拡張 – エージェント（DJ Copilot）、自然言語駆動のクリーニングのための「Juicer」モデル、RAG、RL スタイルのキュレーション、具現化 AI ビデオパイプライン用のレシピ。
• 統合 – Hugging Face、ModelScope、Alibaba Cloud PAI、HDFS、S3、Delta Lake、LanceDB、Ray など、多くのデータプラットフォームと連携します。

典型的なワークフロー

1. データセットをロード（ローカルファイル、HDFS、S3、Hugging Face hub など）。
2. パイプラインを定義 YAML または Python で直接定義します。例：

   - op: TextLengthFilter   # 短い文をドロップ
     min_len: 10
   - op: WhitespaceNormalizationMapper
   - op: MinHashDeduplicator
   

3. 実行 dj-process --config my_pipeline.yaml または Python API（NestedDataset.process([...])）で実行します。
4. 分析 組み込みの統計または Web UI で出力を分析し、JSONL、Parquet などにエクスポートします。

はじめに – uv pip install py-data-juicer でインストール（または Docker イメージをプル）。JupyterLab プレイグラウンドと「Ask DJ Copilot」Web UI がゼロインストール探索用に提供されています。

コミュニティと採用 – Alibaba Cloud 内部で使用され、製品に統合され、複数の業界パートナー（ByteDance、NVIDIA、JD.com など）から引用されています。プロジェクトは積極的にメンテナンスされており（毎月リリース、最近は v1.6.x シリーズ）、good-first-issues、プラグイン、新しいオペレーターレシピを通じて貢献を歓迎します。

---

TL;DR – Data‑Juicer は、最新の基盤モデルのトレーニングと RAG システムを支える大規模データパイプラインを構築、スケーリング、監査するための、本番グレードで拡張可能なデータ処理フレームワークです。