vLLM Semantic Router v0.3 Themis リリースノート
vLLM Semantic Router v0.3 Themis リリースノート
vLLM Semantic Router v0.3（コードネーム Themis）は、セマンティック・ルーティングを、構成可能なツールから、ステートフルで観測可能、かつプロダクション環境に対応したコントロールプレーンへと進化させます。今回のリリースでは、運用上の安定性に焦点を当て、統一された設定コントラクトと、生のシグナルをモデル選択の決定へと変換する構造化されたパイプラインを提供します。
標準設定と運用コントラクト
Themisは、異なるデプロイメント面（Docker、Helm、Dashboard、およびCRDs）間でのレイアウトの重複を排除するために、標準的な config.yaml 形式を導入しました。この統一されたコントラクトにより、ローカルでデプロイする場合でもKubernetesでデプロイする場合でも、ポリシーの一貫性が保証されます。
主な設定変更には以下が含まれます:
- 統一された形式: 設定は
version、listeners、providers、routing、globalという厳格な構造に従うようになりました。 - ワークフローの簡素化:
vllm-sr initコマンドが削除されました。ユーザーは、ダッシュボード優先のセットアップにはvllm-sr serveを使用するか、直接config.yamlを作成します。 - 移行パス: 古い設定は
vllm-sr config migrate --config old-config.yamlを使用して更新できます。 - 厳格なバリデーション: システムは未知のYAMLフィールドに対して警告を発するようになり、サイレントなルーティングのドリフトを防ぐためにPython CLIモデルをPydanticに適合させています。
ルーティング・パイプライン：シグナル、投影、および決定
Themisは、ルーティングのインテリジェンスがプログラム可能で説明可能であり続けることを確実にするため、ルーティングのメンタルモデルを5層のパイプラインとして定式化しました。
| レイヤー | 責任 |
|---|---|
| Signal | リクエスト、レスポンス、ツール、モダリティ、アイデンティティ、またはセーフティ・クラシファイアから証拠を抽出する。 |
| Projection | 生の証拠をポリシー適用可能な概念（例：「緊急性」や「バランス」）に正規化する。 |
| Decision | 優先順位と説明可能な条件に基づいて、名前付きルーティング・ポリシーにマッチングさせる。 |
| Algorithm | マッチした決定内の候補から特定のモデルを選択する。 |
| Model | 選択されたバックエンド・エイリアスまたはプロバイダーを介してリクエストを処理する。 |
Signal Families
ルーターは、authz（ロール）、complexity（推論の難易度）、context（コンテキストウィンドウの需要）、conversation（ツールループの形状）、domain（ビジネス/法務/ヘルスケア）、embedding（セマンティック類似度）、event（運用メタデータ）、fact_check（検証の必要性）、jailbreak（インジェクションの証拠）、kb（ナレッジベースの一致）、keyword（リテラル/ファジーマッチ）、language（ロケール）、modality（AR/diffusion/text）、pii（機密エンティティ）、preference（ユーザーのスタイル）、reask（不満の検出）、structure（regex/密度）、および user_feedback（修正リクエスト）を含む、幅広いシグナルのカタログをサポートしています。
Projections
Projectionは、ノイズの多いシグナルの証拠を安定したポリシー・バンドに変換します。これにより、複数の決定にわたって低レベルのシグナル閾値を繰り返す必要がなくなります。Themisは3つの投影パターンをサポートしています：
- Partitions: 排他的なファミリーから1つの勝者を選択します。
- Scores: シグナルまたはKBメトリクスを連続的な値に結合します。
- Mappings: キャリブレーションされた閾値を通じて、値をポリシー・バンド（例：
support_fastまたはsupport_escalated）に変換します。
Session-Aware Agentic Routing (SAAR)
SAARは、マルチターンのエージェント・ワークロードに対してステートフルなルーティングを提供し、セッションの継続性を確保し、アクティブなツールループ中の安全でないモデルの切り替えを防ぎます。
SAARのコア機能には以下が含まれます:
- Session Memory: 別のセッション状態DSLを必要とせずに、事実や好みを保持するルーター所有のメモリ。
- Continuity Rules: 品質ギャップ、切り替えマージン、およびプレフィックスの局所性を秤にかけることで、モデルの切り替えが正当化されるかどうかを評価します。
- Hard Locks: 安定性を維持するために、アクティブなツールループ中やプロバイダー状態の継続中のモデルの切り替えを防止します。
- Diagnostics: 再再生レコードにより、なぜセッションが特定のモデルに留まったのか、あるいはなぜモデルを切り替えたのかという具体的な理由を保持します。
プロトコル互換性とハードウェアサポート
拡張されたプロトコルサポート
ThemisはOpenAI Chat Completionsの枠を超え、ネイティブなAnthropic /v1/messages イングレス、OpenAI SSE翻訳によるストリーミング、およびカスタムAnthropicアップストリーム・ルーティングを含めるように拡張されました。システムはリクエストパスのヘッダーからプロトコル検出を行い、翻訳によって情報が失われる可能性がある場合にレスポンスヘッダーを提供します。
ハードウェア・バックエンド・パス
Themisは、主に4つのパスにわたるヘテロジニアスな推論スタックをサポートしています：
- NVIDIA CUDA & AMD ROCm: サービス提供されるvLLMバックエンド用。AMDパスは
vllm-sr serve --platform amdで検証可能です。 - Intel OpenVINO: ModernBERTのシーケンス分類および埋め込み推論のネイティブなC++およびGo統合のための新しいバインディング。
- CPU/Local: 開発およびスモークテスト用。
信頼性、観測性、およびパフォーマンス
ロングコンテキストの最適化
ロングコンテキスト・ルーティングのコストを削減するために、Themisは以下を導入しています：
- Online Calibration: 観測されたレスポンス使用量からキャリブレーション比率を学習し、トークン推定を改善します。
- Chunked Attention: ネイティブなmmBERT埋め込みパスは、メモリを制限し、長い入力でのクリッピングを防ぐために、クエリチャンクごとにアテンションを処理します。
- Prompt Compression Profiles: 名前付きプロファイル（
default、coding、medical、security、multi_turn）により、サービングモデルに送信される元のプロンプトを変更することなく、シグナル抽出を最適化します。
ストレージと観測性
このリリースでは、Qdrant ベクトル検索と Valkey（キャッシュ、ベクトルストア、およびメモリ）のサポートにより、ストレージ層を強化しています。また、O(N)のキャッシュ-LRU読み取りパスを定数時間のリストバック実装に置き換え、ルーターの再再生のためのPostgreSQL挿入の正確性を修正しました。
ベンチマーク
RouterArena leaderboardのスナップショットによると、vLLM-SRは加重Arenaスコア 75.4、精度 76.0%、コスト $0.11 per 1K queries で、第1位に返り咲きました。