vLLM Session-Aware Agentic Routing (SAAR) 發布
vLLM Session-Aware Agentic Routing (SAAR) 發布
vLLM 已經推出 Session-Aware Agentic Routing (SAAR)，這是 vLLM 語義路由器內的一個具備會話感知的模型選擇政策。SAAR 透過引入路由器擁有的會話記憶、工具循環的硬鎖定以及具備前緒緩存感知的切換定價，解決了單輪提示路由器在長時程代理場景中的失誤，使模型切換減少 79.29%，並在確定性測試中消除了不安全的切換。
從提示路由到會話路由的轉變
傳統的提示路由根據當前請求的訊號選擇模型。然而，LLM 代理會在會話中運作——規劃、呼叫工具、處理觀測——其中的輪次只有在前軌跡的語境下才有意義。
SAAR 將路由器的主要問題從「哪個模型應該處理此請求？」演變為「在此會話中現在切換模型是否安全？」
單輪路由為何對代理失效
單輪路由可能在局部是最優的，但在會話層面上是不正確的。這會導致數種失效模式：
- 工具循環中斷： 工具結果可能被路由到未發起該工具呼叫的模型。
- 狀態遺失： 無法攜帶的提供者管理續傳 ID 可能被送到錯誤的實體後端。
- 低效率： 前沿模型的暖前緒緩存可能因特定輪次的訊息過短而被棄用，增加成本。
- 可觀測性缺口： 當每輪次的實體模型未知時，邏輯模型（例如
auto）難以除錯。
SAAR 設計與架構
SAAR 在現有的語義路由器管線中加入了一個會話控制層。它利用五個主要元件來管理模型選擇：
| Component | Function | Purpose |
|---|---|---|
| Router Memory | Tracks last physical model, matched decision, phase, and cache evidence | Provides session context without becoming application memory |
| Hard Locks | Prevents switching during active tool loops or non-portable provider state | Ensures correctness over cost/quality optimization |
| Reset Boundaries | Permits reselection after idle timeouts or decision drift | Prevents routing from becoming permanently "sticky" |
| Switch Economics | Prices handoff costs and prefix-cache checkout | Makes switching asymmetric based on session length and model tier |
| Replay Traces | Records the reasoning behind stay/switch decisions | Makes logical models like auto inspectable |
硬連續性約束
SAAR 強制執行兩個「硬鎖定」，在此情況下，路由器無論基礎選擇器的分數如何，都被禁止切換模型：
- 工具循環連續性： 工具結果必須返回發起工具呼叫的實體模型。
- 提供者管理狀態： 帶有無法攜帶的續傳狀態的請求必須停留在先前的實體後端。
相反地，Reset Boundaries (idle timeouts and decision drift) 允許路由器在連續性價值衰減或任務形狀改變時重新開啟模型選擇。
前緒緩存與切換經濟學
對於長會話，切換模型是一個系統決策。SAAR 為 cached-input checkout delta 定價——即一般提示輸入定價與候選模型的前緒緩存輸入定價之差。隨著會話變得更長且成本更高，該政策在捨棄前緒局部性以避免高輸入成本方面變得更為嚴格。
操作工作流程與可觀測性
當客戶端發送帶有穩定 x-session-id 的請求到邏輯模型（例如 auto）時，SAAR 會依以下步驟處理該輪次：
- 提取訊號並執行語義路由器管線以獲得基礎模型選擇。
- 從路由器記憶中載入會話狀態。
- 應用硬鎖定（工具循環/提供者狀態）。
- 評估重設邊界（閒置/漂移）。
- 根據前緒緩存成本與切換歷史調整分數。
- 選擇實體模型並發出重播追蹤。
重播追蹤使操作員能夠審計路由器為何留存或切換模型，回答決策是由硬鎖定、重設邊界還是緩存經濟學驅動的。
效能與評估結果
評估在確定性政策矩陣、即時 AMD ROCm 服務以及代理任務追蹤上進行。
政策矩陣結果（21,600 次輪次）
| Policy | Switches | Unsafe Switches | Est. Cost Reduction | Quality Delta |
|---|---|---|---|---|
| 單輪 | 9,709 | 3,836 | 0.00% | +0.0000 |
| 粘著會話 | 340 | 0 | 98.65% | -0.1433 |
| 完整 SAAR | 2,011 | 0 | 78.71% | -0.0453 |
正確性與可靠性
- Hard Lock Efficacy: Tool-loop switch violations dropped from 3,404 to 0; provider-state violations dropped from 432 to 0.
- Live Serving: Across 2,896 live requests on AMD ROCm, 0 continuity violations were observed.
- Fault Recovery: 100% of affected sessions (32/32) recovered after injected HTTP 503 backend faults.
- Task Completion: 18/18 exact-scored task instances completed successfully with replay headers present on all routed turns.