llm-d/llm-d-router

解決する課題

llm-d Router は、LLM推論トラフィックのためのインテリジェントなエントリポイントを提供します。リアルタイムのシグナルを使用してリクエストを最適なモデルサーバーにルーティングすることで、非効率なリクエスト配置の問題を解決します。現在の負荷、リクエストの優先度、KV-cacheの局所性などの要素を考慮し、パフォーマンスとリソース利用率を最適化します。

仕組み

このシステムは、プロキシ（Envoyなど）と、インテリジェンスエンジンとして機能するエンドポイントピッカー（EPP）で構成されています。EPPは ext-proc プロトコルを介してプロキシと統合され、データプレーンにルーティングの決定を注入します。スタンドアロンモード（自己管理型のEnvoyプロキシを使用）またはゲートウェイモード（Kubernetes Gateway APIと統合）でデプロイ可能です。

さらに、Disaggregation Sidecarを使用して、専用ワーカー間でのKV-cacheや埋め込み（embeddings）の転送を管理することで、複雑な多段階推論ライフサイクル（Prefill/DecodeやEncode/Prefill/Decodeなど）を調整します。

対象ユーザー

本番環境でLLMを大規模にデプロイしており、高度なトラフィック管理、リクエストの優先順位付け、および分離型推論アーキテクチャのサポートを必要とするチーム向けに設計されています。

ハイライト

• Prefix-cache対応ルーティング: KV-cacheの局所性に基づいてリクエストの配置を最適化します。
• 柔軟なデプロイメント: スタンドアロンのEnvoyセットアップとKubernetes Gateway API統合の両方をサポートします。
• トラフィック管理: A/Bテストやカナリアリリースのためのモデル名書き換え機能が含まれています。
• 分離（Disaggregation）サポート: 専用ワーカー間での多段階推論ライフサイクルをオーケストレーションします。