katanemo/plano

Plano is an AI-native proxy server and data plane for agentic apps. Smart LLM routing, observability, agent orchestration, and guardrails so you stay focused on your agents core logic.

What it solves

Plano 解決了將代理式 AI 應用從示範階段推向生產環境時的「隱藏中介層」負擔。它免除開發者必須手動構建的例行管道工作，如意圖分類器、路由邏輯、供應商特定的 API 介面以及跨多個代理的可觀測性儀表。

How it works

Plano 作為一個建構於 Envoy 之上的 AI 原生代理伺服器與資料平面，將編排與傳遞的關注點從應用程式碼中抽離，移至獨立的執行層。開發者在 YAML 設定檔中定義代理與模型供應商，Plano 便負責代理之間的低延遲路由、管理 LLM 供應商的特殊行為，並自動捕獲 OpenTelemetry 追蹤與指標。

Who it’s for

建構多代理系統的開發者，想要在不受特定 AI 框架或語言限制的情況下，部署具生產等級的基礎設施。

Highlights

  • Declarative Orchestration: 使用 YAML 中的自然語言描述來路由請求至正確的代理，而不必撰寫自訂路由程式碼。
  • Model Agility: 統一的 LLM API，允許依模型名稱、別名或自動偏好進行路由。
  • Zero-Code Observability: 自動端到端捕獲代理訊號與 OTEL 追蹤/指標，無需手動儀表化。
  • Filter Chains: 內建支援在所有代理上一致地加入防護欄、審查政策與記憶掛鉤。