JoshuaC215/agent-service-toolkit

무엇을 해결하는가

AI 에이전트 서비스를 구축하고 배포할 수 있는 완전하고 프로덕션 수준의 템플릿을 개발자에게 제공합니다. 에이전트의 로직("brain")을 웹 서버(API) 및 사용자 인터페이스(채팅 앱)에 연결하기 위한 보일러플레이트를 수동으로 설정할 필요를 없애줍니다.

작동 방식

이 툴킷은 여러 핵심 기술을 통합된 스택으로 결합합니다:

• LangGraph: human-in-the-loop 중단, 장기 메모리, supervisor-led multi-agent 흐름과 같은 고급 기능을 포함하여 에이전트의 로직을 정의하는 데 사용됩니다.
• FastAPI: 서비스 레이어로 작동하며, 에이전트와 상호작용하기 위한 스트리밍 및 비스트리밍 API 엔드포인트를 제공합니다.
• Streamlit: 음성 입력 및 출력을 지원하는 즉시 사용 가능한 채팅 인터페이스를 제공합니다.
• Pydantic: 데이터 구조와 설정이 엄격하게 검증되도록 보장합니다.
• Docker: 쉬운 배포를 위해 전체 환경(상태 저장을 위한 PostgreSQL 데이터베이스 포함)을 패키징합니다.

대상 사용자

인프라, API 레이어 및 프론트엔드를 처음부터 구축하지 않고 LangGraph 기반의 AI 에이전트를 빠르게 프로토타입하거나 배포하고자 하는 개발자.

주요 특징

• Advanced Streaming: 응답성 높은 UI를 위해 토큰 기반 및 메시지 기반 스트리밍을 모두 지원합니다.
• Multi-Agent Support: 단일 서비스 내에서 여러 개의 서로 다른 에이전트를 실행할 수 있으며, 고유한 URL 경로를 통해 접근할 수 있습니다.
• AG-UI Protocol: AG-UI 프로토콜과 호환되어, 서비스를 CopilotKit과 같은 외부 프론트엔드에 연결할 수 있습니다.
• Integrated RAG: ChromaDB를 사용하는 기본적인 Retrieval-Augmented Generation (RAG) 구현을 포함합니다.
• Human-in-the-Loop: 흐름 제어 및 인간의 개입을 위해 interrupt() 및 Command를 구현합니다.
• Built-in Feedback: LangSmith를 사용하는 별점 기반 피드백 시스템이 통합되어 있습니다.