PacktPublishing/LLM-Engineers-Handbook

The LLM's practical guide: From the fundamentals to deploying advanced LLM and RAG apps to AWS using LLMOps best practices

What it solves

このプロジェクトは、エンドツーエンドの LLM ベースシステムを構築するための、包括的でプロダクションレディなフレームワークを提供します。データ収集、モデル訓練、RAG（Retrieval‑Augmented Generation）およびクラウドインフラ管理のベストプラクティスを実装することで、シンプルなデモと本格的なデプロイのギャップを埋めます。

How it works

システムはドメイン駆動設計（DDD）原則に基づき構築され、ZenML を用いて ML パイプラインをオーケストレーションします。以下の専門ツールを統合しています：

Training & Evaluation: 計算に AWS SageMaker、実験追跡に Comet ML、モデルレジストリに Hugging Face を使用。
RAG & Data: ベクトルデータベースに Qdrant、NoSQL データウェアハウスに MongoDB を採用。
Deployment: 本番向けホスティングに AWS、推論 REST API に FastAPI、CI/CD パイプラインに GitHub Actions を活用。
Monitoring: プロンプトのモニタリングと評価に Opik を使用。

Who it’s for

基本的なプロンプトに留まらず、スケーラブルでモニタリング可能、かつ保守性の高い AI アプリケーションを本番環境で構築したい LLM エンジニアや開発者向けです。

Highlights

End-to-End Pipeline: データ生成から本番デプロイまでを網羅。
Production Infrastructure: AWS SageMaker、ECR、S3 との詳細な統合。
MLOps Integration: 実験追跡、プロンプトモニタリング、自動 CI/CD を含む。
Modular Architecture: ドメイン、アプリケーション、インフラ、モデル層に分割し、保守性を向上。