wassim249/fastapi-langgraph-agent-production-ready-template

해결하는 문제

이 프로젝트는 AI 에이전트를 위한 프로덕션 준비 완료된 백엔드 템플릿을 제공하여, 개발자가 반복적인 인프라 문제를 수동으로 구현할 필요를 없애줍니다. 상태 관리, 인증, 관찰 가능성(observability)과 같은 필수적인 프로덕션 기능을 통합함으로써 기본적인 로컬 에이전트 프로토타입과 배포 가능한 서비스 사이의 간극을 메워줍니다.

작동 방식

이 템플릿은 웹 프레임워크로 FastAPI를 사용하며, 에이전트의 상태 유지 로직과 도구 실행을 관리하기 위해 LangGraph를 사용합니다. 다음과 같은 여러 전문화된 서비스를 포함합니다:

• Memory: 사용자별 장기적 의미론적 메모리를 위해 mem0 및 pgvector를 사용합니다.
• LLM Management: 전용 서비스가 순환 폴백(circular fallback) 메커니즘(기본 모델이 실패할 경우 백업 모델로 전환)과 지수 백오프(exponential backoff) 재시도를 통해 모델 선택을 처리합니다.
• Observability: LLM 호출 추적을 위한 Langfuse와 시스템 메트릭을 위한 Prometheus/Grafana를 통합합니다.
• Security: JWT 기반 인증 및 세션 관리를 구현하며, 속도 제한(rate limiting)은 slowapi에 의해 처리됩니다.
• Data: ORM을 위해 SQLModel을 사용하고 데이터베이스 마이그레이션을 위해 Alembic을 사용합니다.

대상 사용자

인프라, 인증, 모니터링을 처음부터 연결하는 데 시간을 소비하지 않고, 에이전틱(agentic) 백엔드를 구축하기 위한 전문적이고 확장 가능한 기반이 필요한 AI 엔지니어.

주요 특징

• Stateful Conversations: LangGraph를 통한 체크포인팅 및 human-in-the-loop 상호작용에 대한 내장 지원.
• Resilient LLM Calls: 신뢰성을 보장하기 위한 순환 모델 폴백 및 전체 타임아웃 예산.
• Long-term Memory: pgvector를 통한 사용자별 셀프 호스팅된 의미론적 검색.
• Production Tooling: 요청 컨텍스트가 포함된 구조화된 로깅, JWT 인증 및 전체 모니터링 스택(Prometheus/Grafana)을 포함합니다.