katanemo/plano

Plano is an AI-native proxy server and data plane for agentic apps. Smart LLM routing, observability, agent orchestration, and guardrails so you stay focused on your agents core logic.

What it solves

Plano는 데모 단계에서 프로덕션 단계로 에이전트 AI 애플리케이션을 옮길 때 발생하는 "숨은 미들웨어" 부담을 해결합니다. 개발자가 의도 분류기, 라우팅 로직, 공급자별 API 어댑터, 여러 에이전트에 걸친 관측성 계측과 같은 반복적인 파이프라인 작업을 직접 구축할 필요가 없게 합니다.

How it works

Plano는 Envoy 위에 구축된 AI 네이티브 프록시 서버이자 데이터 플레인으로 동작합니다. 오케스트레이션과 전달에 대한 관심사를 애플리케이션 코드에서 분리하여 별도의 프로세스 외 레이어로 이동시킵니다. 개발자는 YAML 설정 파일에 에이전트와 모델 공급자를 정의하고, Plano는 에이전트 간 저지연 라우팅을 처리하고, LLM 공급자 특성을 관리하며, OpenTelemetry 트레이스와 메트릭을 자동으로 캡처합니다.

Who it’s for

특정 AI 프레임워크나 언어에 얽매이지 않고 프로덕션 급 인프라를 배포하고자 하는 멀티 에이전트 시스템 구축 개발자를 위한 솔루션입니다.

Highlights

Declarative Orchestration: YAML에 자연어 설명을 사용해 요청을 올바른 에이전트로 라우팅하므로 커스텀 라우팅 코드를 작성할 필요가 없습니다.
Model Agility: 모델 이름, 별칭 또는 자동 선호도에 따라 라우팅할 수 있는 통합 LLM API.
Zero-Code Observability: 수동 계측 없이 에이전트 신호와 OTEL 트레이스/메트릭을 자동으로 엔드‑투‑엔드 캡처합니다.
Filter Chains: 가드레일, 모더레이션 정책, 메모리 훅을 모든 에이전트에 일관되게 추가할 수 있는 내장 지원.