PacktPublishing/LLM-Engineers-Handbook

The LLM's practical guide: From the fundamentals to deploying advanced LLM and RAG apps to AWS using LLMOps best practices

What it solves

此项目提供一个完整、可直接投入生产的框架，用于构建端到端的 LLM 系统。它通过落实数据收集、模型训练、RAG（检索增强生成）以及云基础设施管理的最佳实践，弥合了简单演示与专业部署之间的鸿沟。

How it works

系统遵循领域驱动设计（DDD）原则，并以 ZenML 来协调 ML pipeline。它整合了多项专门工具：

  • Training & Evaluation：使用 AWS SageMaker 进行计算，Comet ML 跟踪实验，Hugging Face 作为模型注册中心。
  • RAG & Data：采用 Qdrant 作为向量数据库，MongoDB 作为 NoSQL 数据仓库。
  • Deployment：利用 AWS 提供可投入生产的托管环境，FastAPI 作为推理 REST API，GitHub Actions 负责 CI/CD pipeline。
  • Monitoring：使用 Opik 进行提示词的监控与评估。

Who it’s for

此框架适合想要超越基础提示词、在生产环境中打造可扩展、可监控且易于维护的 AI 应用的 LLM 工程师和开发者。

Highlights

  • End-to-End Pipeline：覆盖从数据生成到生产部署的全部流程。
  • Production Infrastructure：详细整合 AWS SageMaker、ECR 与 S3。
  • MLOps Integration：包含实验追踪、提示词监控与自动化 CI/CD。
  • Modular Architecture：以 domain、application、infrastructure、model 四层划分，提升可维护性。