vllm-project/agentic-api

해결하는 문제

에이전트형 API는 vLLM과 같은 LLM 추론 엔진을 위한 상태 유지형 서버 측 레이어를 제공합니다. 클라이언트 애플리케이션이 대화 기록 관리, 도구 호출 루프, 다단계 오케스트레이션을 처리하는 부담을 줄이고 이를 서버로 이전함으로써, 클라이언트는 복잡한 에이전트 워크플로우를 단일 API 호출로 수행할 수 있습니다.

작동 방식

Rust로 작성된 게이트웨이는 무상태 추론 엔진(vLLM, SGLang, NVIDIA Dynamo 등) 앞에 위치합니다. OpenAI 호환 응답과 Anthropic 호환 메시지 API를 구현합니다. 게이트웨이는 previous_response_id를 통해 상태 하이드레이션을 관리하고, 웹 검색(You.com, Brave, Tavily), MCP 도구, 임베디드 코드 인터프리터와 같은 서버 측 도구를 실행하며, SQLite 또는 PostgreSQL을 사용해 지속성을 처리합니다.

대상 사용자

자체 GPU에서 오픈 모델을 사용해 OpenAI 수준의 작업(예: Codex 또는 Claude Code)을 실행하고자 하는 에이전트 애플리케이션 개발자.

주요 특징

• 상태 유지 대화: 서버 측에서 대화 기록을 관리하여 클라이언트가 전체 대화 기록을 추적하고 재생할 필요가 없습니다.
• 서버 측 도구 실행: You.com, Brave, Tavily를 통한 웹 검색, MCP 도구, 내장 코드 인터프리터에 대한 내장 지원.
• 다중 에이전트 오케스트레이션: HTTP를 통해 서버 측에서 하위 에이전트를 생성하고 조율할 수 있습니다.
• 광범위한 전송 지원: 비스트리밍 HTTP, Server-Sent Events (SSE), WebSockets를 stream_id 멀티플렉싱으로 지원합니다.
• 호환성: Open Responses 호환성 테스트 세트에서 검증 완료되어 Codex 및 Claude Code 트래픽에 대응 가능합니다.