nasiko: 컨테이너화된 AI 에이전트의 중앙 집중식 관리 및 지능형 라우팅을 위한 개발자 컨트롤 플레인

해결하는 문제

Nasiko는 대규모 AI 에이전트를 관리하기 위해 설계된 개발자 컨트롤 플레인입니다. 프로덕션 환경 내에서 여러 전문화된 AI 에이전트를 배포, 라우팅 및 모니터링하는 복잡성을 해결하며, 에이전트 수명 주기 관리 및 지능형 트래픽 분산을 위한 중앙 집중식 시스템을 제공합니다.

작동 방식

Nasiko는 Kong API Gateway를 중심으로 하는 클라우드 네이티브 마이크로서비스 아키텍처를 사용합니다. "AgentCards"(기능 정의)를 통해 에이전트 메타데이터를 저장하기 위해 중앙 집중식 레지스트리를 활용합니다. LangChain 기반의 라우터는 사용자 쿼리를 분석하고 이러한 기능을 바탕으로 가장 적합한 에이전트와 의미론적으로 매칭합니다. 에이전트는 컨테이너화된 서비스(Docker/Kubernetes)로 배포되며, 검색 및 부하 분산을 위해 게이트웨이에 자동으로 등록됩니다.

대상 사용자

단일 모놀리식 LLM 애플리케이션에 의존하기보다 전문화된 AI 에이전트 네트워크를 오케스트레이션해야 하는 AI 개발자 및 엔터프라이즈 팀을 위해 구축되었습니다.

주요 특징

• 지능형 라우팅: LangChain을 사용하여 의도를 분석하고 신뢰도 점수를 기반으로 최로의 에이전트에게 쿼리를 라우팅합니다.
• 에이전트 수명 주기 관리: 버전 관리 저장소, 핫 디플로이먼트(hot deployment), 자동 컨테이너화를 지원합니다.
• 엔터프라이즈 인프라: 라우팅을 위한 Kong API Gateway, 인증을 위한 GitHub OAuth, LLM 네이티브 관측성을 위한 Arize Phoenix를 통합합니다.
• 개발자 도구: 에이전트 업로드를 위한 전용 CLI와 플랫폼 관리를 위한 웹 기반 대시보드를 포함합니다.