katanemo/plano

Plano is an AI-native proxy server and data plane for agentic apps. Smart LLM routing, observability, agent orchestration, and guardrails so you stay focused on your agents core logic.

What it solves

Plano 解决了将代理式 AI 应用从演示阶段推向生产环境时的“隐藏中间件”负担。它免除开发者必须手动构建的例行管道工作，如意图分类器、路由逻辑、供应商特定的 API 适配器以及跨多个代理的可观测性仪表。

How it works

Plano 作为一个构建于 Envoy 之上的 AI 原生代理服务器和数据平面，将编排与交付的关注点从应用代码中抽离，移至独立的执行层。开发者在 YAML 配置文件中定义代理与模型供应商，Plano 负责代理之间的低延迟路由、管理 LLM 供应商的特殊行为，并自动捕获 OpenTelemetry 跟踪和指标。

Who it’s for

构建多代理系统的开发者，想要在不受特定 AI 框架或语言限制的情况下，部署具生产级别的基础设施。

Highlights

  • Declarative Orchestration: 使用 YAML 中的自然语言描述来路由请求至正确的代理，而不必编写自定义路由代码。
  • Model Agility: 统一的 LLM API，允许依据模型名称、别名或自动偏好进行路由。
  • Zero-Code Observability: 自动端到端捕获代理信号与 OTEL 跟踪/指标，无需手动仪表化。
  • Filter Chains: 内建支持在所有代理上一致地添加防护栏、审查政策与记忆挂钩。