LLM-Engineers-Handbook：它是什麼、解決了什麼問題以及為何受到關注

它解決了什麼

本專案提供一套完整、可直接投入生產的框架，用於構建端到端的 LLM 系統。它透過落實資料收集、模型訓練、RAG（檢索增強生成）以及雲端基礎設施管理的最佳實踐，彌合了簡易示範與專業部署之間的鴻溝。

它如何運作

系統遵循領域驅動設計（DDD）原則，並透過 ZenML 來編排 ML pipeline。它整合了多項專門工具：

• 訓練與評估：使用 AWS SageMaker 進行運算，Comet ML 追蹤實驗，Hugging Face 作為模型註冊中心。
• RAG 與資料：採用 Qdrant 作為向量資料庫，MongoDB 作為 NoSQL 資料倉儲。
• 部署：利用 AWS 提供可投入生產的託管環境，FastAPI 作為推論 REST API，GitHub Actions 負責 CI/CD pipeline。
• 監控：使用 Opik 進行提示（prompt）監控與評估。

目標對象

此框架針對希望超越基礎提示，並在生產環境中打造可擴展、可監控、易維護 AI 應用的 LLM 工程師與開發者。

重點特色

• 端到端流水線：涵蓋從資料生成到生產部署的全部流程。
• 生產基礎設施：詳盡整合 AWS SageMaker、ECR 與 S3。
• MLOps 整合：包含實驗追蹤、提示監控與自動化 CI/CD。
• 模組化架構：依據領域、應用、基礎設施與模型層級劃分，提升可維護性。