JoshuaC215/agent-service-toolkit
Full toolkit for running an AI agent service built with LangGraph, FastAPI and Streamlit
它解决了什么问题
它为开发者提供了一个完整且可直接投入生产的模板,用于构建和部署 AI 代理服务。它消除了手动搭建代理逻辑("大脑")与 Web 服务器(API)以及用户界面(聊天应用)之间连接的样板代码需求。
它如何工作
该工具包将几种关键技术整合到一个统一的架构中:
- LangGraph:用于定义代理逻辑,包括高级功能如人工介入中断、长期记忆以及由监督者主导的多代理流程。
- FastAPI:作为服务层,提供流式和非流式 API 端点,用于与代理交互。
- Streamlit:提供一个开箱即用的聊天界面,支持语音输入和输出。
- Pydantic:确保数据结构和设置严格验证。
- Docker:将整个环境(包括用于状态存储的 PostgreSQL 数据库)打包,便于部署。
适合谁
希望快速原型设计或部署基于 LangGraph 的 AI 代理,而无需从头构建基础设施、API 层和前端的开发者。
特色亮点
- 高级流式传输:支持基于 token 和基于消息的流式传输,实现响应式 UI。
- 多代理支持:允许在单个服务中运行多个不同的代理,通过唯一的 URL 路径访问。
- AG-UI 协议兼容:兼容 AG-UI 协议,使服务能够连接到外部前端(如 CopilotKit)。
- 集成 RAG:使用 ChromaDB 包含基本的检索增强生成(RAG)实现。
- 人工介入:实现
interrupt()和Command以进行流程控制和人工干预。 - 内置反馈机制:使用 LangSmith 集成基于星级的反馈系统。
相关
- 项目
- 项目
- 项目
- 项目
- 项目