AstraNetLab/CacheRoute

解決的問題

CacheRoute 可減少多個 LLM 請求重複使用相同長篇外部知識文字時所產生的沉重預填入開銷與重複運算。它不需每次重新計算這些提示，而是允許在不同 LLM 系統之間重用鍵值（KV）快取，從而降低延遲並提升吞吐量。

工作原理

基於 vLLM 與 LMCache 建構，CacheRoute 實作知識傳遞網路（KDN）架構。它使用專用的 KDN 伺服器來儲存與管理熱門知識的 KV 快取區塊。

當請求到達時，系統遵循以下工作流程：

1. 排程器：分析知識需求，並將請求路由至最有效率的資源池。
2. 代理：預測基於文字與基於 KV 快取注入的成本，並根據即時運算與網路負載動態選擇最佳策略。
3. KDN 伺服器：若選擇重用策略，則注入預先計算的 KV 快取區塊。
4. 實例：將請求轉送至 vLLM 與 LMCache 後端以進行最終執行。

適用對象

專為知識密集型 LLM 服務設計，例如基於瀏覽器的 AI 助手與基於知識的問答系統，這些系統中相同參考資料被許多使用者頻繁存取。

主要特色

• 計算-網路協調：根據當前系統負載，在重新計算與快取注入之間動態切換。
• 跨系統重用：透過 KDN 伺服器在不同 LLM 系統間共享可重用知識。
• 知識導向路由：根據知識可用性與系統拓撲結構路由請求。
• 可觀測性工具：包含代理瀏覽器 UI 與實例資源儀表板，用於監控控制平面狀態與資源快照。