vllm-project/agentic-api

解决的问题

代理型 API 为 vLLM 等 LLM 推理引擎提供了一个有状态的服务器端层。它将管理对话历史、工具调用循环和多轮编排的负担从客户端应用中移除，并将其转移到服务器端，使客户端能够通过一次 API 调用完成复杂的代理工作流。

工作原理

使用 Rust 编写，作为位于无状态推理引擎（如 vLLM、SGLang 或 NVIDIA Dynamo）前端的网关。它实现了 OpenAI 兼容的响应和 Anthropic 兼容的消息 API。网关通过 previous_response_id 管理状态加载，执行服务器端工具（如网络搜索、MCP 工具和代码解释器），并通过 SQLite 或 PostgreSQL 实现持久化。

适用人群

希望在自己的 GPU 上使用开源模型运行 OpenAI 级别工作负载（如 Codex 或 Claude Code）的代理应用开发者。

主要亮点

• 有状态对话：服务器端管理对话历史，客户端无需追踪和重放完整对话记录。
• 服务器端工具执行：原生支持通过 You.com、Brave 或 Tavily 进行网络搜索，MCP 工具，以及嵌入式代码解释器。
• 多代理编排：可通过 HTTP 在服务器端生成并协调子代理。
• 广泛的传输支持：支持非流式 HTTP、Server-Sent Events (SSE) 和 WebSockets，并通过 stream_id 实现多路复用。
• 兼容性：已通过 Open Responses 兼容性测试套件验证，可直接处理 Codex 和 Claude Code 流量。