AstraNetLab/CacheRoute

何を解決するか

CacheRouteは、複数のLLMリクエストが繰り返し同じ長い外部知識テキストを使用する際に発生する重いプレフィルオーバーヘッドと重複計算を軽減します。毎回プロンプトを再計算するのではなく、異なるLLMシステム間でキーバリューキャッシュ（KVキャッシュ）を再利用することで、遅延を低減し、スループットを向上させます。

動作方法

vLLMとLMCacheに基づいて構築されたCacheRouteは、Knowledge Delivery Network（KDN）アーキテクチャを実装しています。人気のある知識のKVキャッシュブロックを格納・管理する専用のKDNサーバーを使用します。

リクエストが到着すると、以下のワークフローに従います：

1. スケジューラ：知識要件を分析し、最も効率的なリソースプールにリクエストをルーティングします。
2. プロキシ：テキストベースのインジェクションとKVキャッシュベースのインジェクションのコストを予測し、リアルタイムの計算およびネットワーク負荷に基づいて最適な戦略を動的に選択します。
3. KDNサーバー：再利用戦略が選択された場合、事前に計算されたKVキャッシュブロックをインジェクトします。
4. インスタンス：リクエストをvLLMおよびLMCacheバックエンドに転送して最終実行を行います。

対象ユーザー

ブラウザベースのAIアシスタントや知識ベースのQAシステムなど、多数のユーザーが同じ参照資料を頻繁にアクセスする知識集約型LLMサービス向けに設計されています。

特徴

• コンピュート・ネットワーク連携：現在のシステム負荷に基づいて、再計算とキャッシュインジェクションの間で動的に切り替えます。
• システム間再利用：KDNサーバーを介して、異なるLLMシステム間で再利用可能な知識を共有します。
• 知識指向ルーティング：知識の可用性とシステムトポロジーに基づいてリクエストをルーティングします。
• 観測性ツール：プロキシ用ブラウザUIとインスタンスリソースダッシュボードを備え、コントロールプレーンの状態やリソーススナップショットを監視できます。