JoshuaC215/agent-service-toolkit

Full toolkit for running an AI agent service built with LangGraph, FastAPI and Streamlit

它解决了什么问题

它为开发者提供了一个完整且可直接投入生产的模板,用于构建和部署 AI 代理服务。它消除了手动搭建代理逻辑("大脑")与 Web 服务器(API)以及用户界面(聊天应用)之间连接的样板代码需求。

它如何工作

该工具包将几种关键技术整合到一个统一的架构中:

  • LangGraph:用于定义代理逻辑,包括高级功能如人工介入中断、长期记忆以及由监督者主导的多代理流程。
  • FastAPI:作为服务层,提供流式和非流式 API 端点,用于与代理交互。
  • Streamlit:提供一个开箱即用的聊天界面,支持语音输入和输出。
  • Pydantic:确保数据结构和设置严格验证。
  • Docker:将整个环境(包括用于状态存储的 PostgreSQL 数据库)打包,便于部署。

适合谁

希望快速原型设计或部署基于 LangGraph 的 AI 代理,而无需从头构建基础设施、API 层和前端的开发者。

特色亮点

  • 高级流式传输:支持基于 token 和基于消息的流式传输,实现响应式 UI。
  • 多代理支持:允许在单个服务中运行多个不同的代理,通过唯一的 URL 路径访问。
  • AG-UI 协议兼容:兼容 AG-UI 协议,使服务能够连接到外部前端(如 CopilotKit)。
  • 集成 RAG:使用 ChromaDB 包含基本的检索增强生成(RAG)实现。
  • 人工介入:实现 interrupt()Command 以进行流程控制和人工干预。
  • 内置反馈机制:使用 LangSmith 集成基于星级的反馈系统。

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • 项目