datascale-ai/data_engineering_book

해결하는 문제

거대언어모델(LLM) 시대에 데이터 품질은 모델 성능을 결정짓는 가장 중요한 요소입니다. 현재 대부분의 팀은 체계적인 데이터 관리 접근 방식이 부족하여 시행착오에 의존하는 경우가 많습니다. 이 책은 원시 데이터 수집부터 프로덕션 배포까지 데이터 엔지니어링의 전체 수명 주기를 다루는 포괄적인 기술 프레임워크를 제공하여 이러한 격차를 해소합니다.

작동 방식

이 책은 14개의 파트와 48개의 챕터로 구성되어 있으며, 이론적 토대와 실무적인 구현을 모두 제공합니다. 사전 학습 데이터 정제, 지시어 튜닝 및 선호도 데이터셋 구축, RAG 파이프라인 구축, DataOps 관리와 같은 필수 프로세스를 다룹니다. 실행 가능한 코드, 아키텍처 설계, 엔지니어링 리뷰가 포함된 15개의 엔드투엔드 프로젝트 사례 연구를 통해 독자가 이러한 방법을 실제 시나리오에 적용할 수 있도록 돕습니다.

대상 독자

이 리소스는 LLM 연구 엔지니어, 데이터 엔지니어, MLOps/DataOps 전문가, 기술 AI 제품 관리자, 그리고 거대 모델을 위한 강력한 데이터 파이프라인 구축에 관심이 있는 연구자를 위해 설계되었습니다.

주요 특징

• 데이터 수명 주기에 대한 포괄적인 범위: 사전 학습, 파인튜닝, RLHF, RAG, DataOps.
• Ray, Spark, Dask, DVC 및 다양한 벡터 데이터베이스를 포함한 최신 기술 스택 통합.
• Mini-C4 사전 학습 세트부터 Agent 도구 사용 및 개인정보 보호 파이프라인까지 15개의 실습 프로젝트.
• 데이터 중심 AI(Data-Centric AI) 원칙에 집중: 데이터 품질 평가, 멀티모달 정렬, 개인정보 보호 규정 준수.
• 중국어, 영어, 일본어로 제공되는 오픈소스 문서, MkDocs를 통한 로컬 미리보기 지원.