PacktPublishing/LLM-Engineers-Handbook

The LLM's practical guide: From the fundamentals to deploying advanced LLM and RAG apps to AWS using LLMOps best practices

What it solves

此專案提供一套完整、可直接投入生產的框架，用於建構端到端的 LLM 系統。它透過落實資料收集、模型訓練、RAG（檢索增強生成）以及雲端基礎建設管理的最佳實踐，彌合了簡易示範與專業部署之間的鴻溝。

How it works

系統遵循領域驅動設計（DDD）原則，並以 ZenML 來協調 ML pipeline。它整合了多項專門工具：

  • Training & Evaluation：使用 AWS SageMaker 進行運算，Comet ML 追蹤實驗，Hugging Face 作為模型註冊中心。
  • RAG & Data：採用 Qdrant 作為向量資料庫，MongoDB 作為 NoSQL 資料倉儲。
  • Deployment：利用 AWS 提供可投入生產的主機環境，FastAPI 作為推論 REST API，GitHub Actions 負責 CI/CD pipeline。
  • Monitoring：使用 Opik 進行提示詞的監控與評估。

Who it’s for

此框架適合想要超越基礎提示詞、在生產環境中打造可擴展、可監控且易於維護的 AI 應用的 LLM 工程師與開發者。

Highlights

  • End-to-End Pipeline：涵蓋從資料產生到生產部署的全部流程。
  • Production Infrastructure：詳細整合 AWS SageMaker、ECR 與 S3。
  • MLOps Integration：包含實驗追蹤、提示詞監控與自動化 CI/CD。
  • Modular Architecture：以 domain、application、infrastructure、model 四層劃分，提升可維護性。