PacktPublishing/LLM-Engineers-Handbook

The LLM's practical guide: From the fundamentals to deploying advanced LLM and RAG apps to AWS using LLMOps best practices

What it solves

이 프로젝트는 엔드‑투‑엔드 LLM 기반 시스템을 구축하기 위한 포괄적이고 프로덕션 레디 프레임워크를 제공합니다. 데이터 수집, 모델 학습, RAG(검색 기반 생성) 및 클라우드 인프라 관리에 대한 모범 사례를 구현함으로써 간단한 데모와 전문적인 배포 사이의 격차를 메웁니다.

How it works

시스템은 도메인‑드리븐 디자인(DDD) 원칙에 따라 구축되며, ZenML을 통해 ML 파이프라인을 오케스트레이션합니다. 다음과 같은 특화 도구들을 통합합니다:

  • Training & Evaluation: 컴퓨팅에 AWS SageMaker, 실험 추적에 Comet ML, 모델 레지스트리에 Hugging Face 사용.
  • RAG & Data: 벡터 데이터베이스로 Qdrant, NoSQL 데이터 웨어하우스로 MongoDB 활용.
  • Deployment: 프로덕션 수준 호스팅에 AWS, 추론 REST API에 FastAPI, CI/CD 파이프라인에 GitHub Actions 사용.
  • Monitoring: 프롬프트 모니터링 및 평가에 Opik 사용.

Who it’s for

기본 프롬프트를 넘어 확장 가능하고 모니터링 가능하며 유지 보수가 쉬운 AI 애플리케이션을 프로덕션 환경에서 만들고자 하는 LLM 엔지니어와 개발자를 위한 것입니다.

Highlights

  • End-to-End Pipeline: 데이터 생성부터 프로덕션 배포까지 전 과정을 포괄.
  • Production Infrastructure: AWS SageMaker, ECR, S3와의 상세 통합.
  • MLOps Integration: 실험 추적, 프롬프트 모니터링, 자동 CI/CD 포함.
  • Modular Architecture: 도메인, 애플리케이션, 인프라, 모델 레이어로 구성되어 유지 보수성을 향상시킵니다.