wassim249/fastapi-langgraph-agent-production-ready-template

解決的問題

此專案提供一個可直接投入生產環境的 AI 代理後端範本，讓開發者無需手動實作重複性的基礎設施需求。它彌補了基本本地代理原型與可部署服務之間的差距，整合了狀態管理、驗證與可觀察性等關鍵生產功能。

如何運作

此範本使用 FastAPI 作為網路框架，並以 LangGraph 管理代理的狀態邏輯與工具執行。它整合了多個專用服務：

• 記憶體： 使用 mem0 和 pgvector 提供長期、使用者特定的語意記憶。
• LLM 管理： 專用服務負責模型選擇，具備循環備援機制（當主模型失敗時自動切換至備用模型）與指數退避重試。
• 可觀察性： 整合 Langfuse 用於追蹤 LLM 呼叫，以及 Prometheus/Grafana 用於系統指標監控。
• 安全性： 實作基於 JWT 的驗證與會話管理，並由 slowapi 處理速率限制。
• 資料： 使用 SQLModel 作為 ORM，並以 Alembic 進行資料庫遷移。

適用對象

需要專業、可擴展基礎架構來建構代理後端，卻不願花時間從零開始搭建基礎設施、驗證與監控系統的 AI 工程師。

主要特色

• 具狀態的對話： 透過 LangGraph 內建檢查點與人機協作互動支援。
• 強韌的 LLM 呼叫： 循環模型備援與總超時預算，確保系統可靠性。
• 長期記憶： 透過 pgvector 提供每使用者自架的語意搜尋。
• 生產環境工具： 包含帶請求上下文的結構化日誌、JWT 驗證，以及完整的監控堆疊（Prometheus/Grafana）。