datascale-ai/data_engineering_book

解決する課題

大規模言語モデル（LLM）の時代において、データ品質はモデル性能を左右する最大の制約要因です。現在、多くのチームが体系的なデータ管理手法を欠いており、試行錯誤に頼ることが一般的です。本書は、生のデータ収集から本番環境へのデプロイまで、データエンジニアリングのライフサイクル全体を網羅する包括的な技術フレームワークを提供し、そのギャップを埋めます。

仕組み

本書は14のパートと48の章で構成されており、理論的基盤と実践的な実装の両方を提供します。事前学習データのクリーニング、指示チューニングや選好データセットの構築、RAGパイプラインの構築、DataOpsの管理といった重要なプロセスを網羅しています。実行可能なコード、アーキテクチャ設計、エンジニアリングレビューを含む15のエンドツーエンドのプロジェクトケーススタディが収録されており、読者がこれらの手法を実世界のシナリオに応用できるよう支援します。

対象読者

本書は、LLMリサーチエンジニア、データエンジニア、MLOps/DataOpsプロフェッショナル、技術系AIプロダクトマネージャー、および大規模モデルのための堅牢なデータパイプライン構築に関心のある研究者を対象としています。

ハイライト

• データライフサイクルの包括的な網羅：事前学習、ファインチューニング、RLHF、RAG、DataOps。
• Ray, Spark, Dask, DVC, 各種ベクトルデータベースを含む最新技術スタックの統合。
• Mini-C4 プリトレーニングセットから Agent のツール利用、プライバシー保護パイプラインまで、15の実践的なプロジェクト。
• データ中心のAI（Data-Centric AI）原則への注力：データ品質評価、マルチモーダルアライメント、プライバシーコンプライアンスなど。
• 中国語、英語、日本語で利用可能なオープンソースドキュメント。MkDocs を使用したローカルプレビューをサポート。