vllm-project/agentic-api

何を解決するか

エージェント型APIは、vLLMなどのLLM推論エンジン向けに状態保持型のサーバーサイド層を提供します。クライアントアプリケーションが会話履歴の管理、ツール呼び出しループ、マルチターンオーケストレーションを担う負担を軽減し、これらをサーバーに移行することで、クライアントは複雑なエージェントワークフローを1回のAPI呼び出しで実行できるようになります。

動作方法

Rustで記述されたゲートウェイは、無状態の推論エンジン（vLLM、SGLang、NVIDIA Dynamoなど）の前に配置されます。OpenAI互換のレスポンスとAnthropic互換のメッセージAPIを実装しています。ゲートウェイは previous_response_id を使って状態のハイドレーションを管理し、サーバーサイドでツール（ウェブ検索、MCPツール、コードインタプリタなど）を実行し、SQLiteまたはPostgreSQLを使って永続化を処理します。

対象ユーザー

自社のGPU上でオープンモデルを使ってOpenAIレベルのワークロード（CodexやClaude Codeなど）を実行したいエージェントアプリケーションを開発する開発者。

特徴

• 状態保持型の会話: サーバーサイドでの履歴管理により、クライアントが完全なトランスクリプトを追跡・再再生する必要がありません。
• サーバーサイドでのツール実行: You.com、Brave、Tavilyによるウェブ検索、MCPツール、埋め込みコードインタプリタのネイティブサポート。
• マルチエージェントオーケストレーション: HTTP経由でサーバーサイドでサブエージェントを生成・連携可能。
• 広範なトランスポート対応: 非ストリーミングHTTP、Server-Sent Events (SSE)、WebSocketsを stream_id マルチプレクシングでサポート。
• 互換性: Open Responses互換性スイートで検証済み。CodexおよびClaude Codeのトラフィックに対応可能。