vLLM Semantic Router v0.3 Themis 릴리스 노트
vLLM Semantic Router v0.3 Themis 릴리스 노트
vLLM Semantic Router v0.3은 코드명 Themis이며, 의미 기반 라우팅을 조합 가능한 도구에서 상태 저장, 관찰 가능, 그리고 프로덕션 준비가 된 제어 평면으로 전환합니다. 이번 릴리스는 운영 안정성에 중점을 두며, 통합된 구성 계약과 원시 신호를 모델 선택 결정으로 변환하는 구조화된 파이프라인을 제공합니다.
표준 구성 및 운영 계약
Themis는 config.yaml 형태의 표준 구성을 도입하여 Docker, Helm, Dashboard, CRD 등 다양한 배포 환경에서 겹치는 레이아웃을 없앱니다. 이 통합 계약은 로컬이든 Kubernetes이든 정책이 일관되게 적용되도록 보장합니다.
주요 구성 변경 사항은 다음과 같습니다:
- 통합 형태: 이제 구성은
version,listeners,providers,routing,global이라는 엄격한 구조를 따릅니다. - 간소화된 워크플로:
vllm-sr init명령이 제거되었습니다. 사용자는 이제 대시보드 우선 설정을 위해vllm-sr serve를 사용하거나 직접config.yaml을 작성합니다. - 마이그레이션 경로: 이전 구성은
vllm-sr config migrate --config old-config.yaml를 사용하여 업데이트할 수 있습니다. - 엄격한 검증: 시스템은 이제 알 수 없는 YAML 필드에 대해 경고하고, 파이썬 CLI 모델을 Pydantic과 맞추어 라우팅 드리프트를 방지합니다.
라우팅 파이프라인: 신호, 투영 및 결정
Themis는 라우팅 사고 모델을 5계층 파이프라인으로 공식화하여 라우팅 인텔리전스가 프로그래밍 가능하고 설명 가능하도록 합니다.
| 계층 | 책임 |
|---|---|
| Signal | 요청, 응답, 도구, 모달리티, 정체성 또는 안전 분류기에서 증거를 추출합니다. |
| Projection | 원시 증거를 정책에 사용할 수 있는 개념(예: “urgency” 또는 “balance”)으로 정규화합니다. |
| Decision | 우선순위와 설명 가능한 조건에 따라 명명된 라우팅 정책을 매칭합니다. |
| Algorithm | 매칭된 결정 내 후보 모델 중에서 특정 모델을 선택합니다. |
| Model | 선택된 백엔드 별칭 또는 제공자를 통해 요청을 처리합니다. |
신호 패밀리
라우터는 authz(역할), complexity(추론 난이도), context(윈도우 요구), conversation(툴 루프 형태), domain(비즈니스/법률/헬스), embedding(시맨틱 유사도), event(운영 메타데이터), fact_check(검증 필요), jailbreak(인젝션 증거), kb(지식베이스 매치), keyword(리터럴/퍼지 매치), language(로케일), modality(AR/디퓨전/텍스트), pii(민감 엔티티), preference(사용자 스타일), reask(불만족 감지), structure(정규식/밀도), user_feedback(수정 요청) 등 다양한 신호 카탈로그를 지원합니다.
투영
투영은 잡음이 섞인 신호 증거를 안정적인 정책 밴드로 변환합니다. 이를 통해 여러 결정에서 저수준 신호 임계값을 반복할 필요가 없어집니다. Themis는 세 가지 투영 패턴을 지원합니다:
- Partitions: 독점적인 패밀리에서 하나의 승자를 선택합니다.
- Scores: 신호 또는 KB 메트릭을 결합하여 연속값을 생성합니다.
- Mappings: 보정된 임계값을 통해 값을 정책 밴드(예:
support_fast또는support_escalated)로 변환합니다.
세션 인식 에이전트 라우팅 (SAAR)
SAAR는 다중 턴 에이전트 워크로드에 대해 상태 저장 라우팅을 제공하여 세션 연속성을 보장하고 활성 툴 루프 중에 안전하지 않은 모델 전환을 방지합니다.
핵심 SAAR 기능은 다음과 같습니다:
- Session Memory: 라우터가 소유하는 메모리로, 별도의 세션 상태 DSL 없이 사실과 선호도를 보존합니다.
- Continuity Rules: 품질 격차, 전환 마진, 프리픽스 지역성을 고려하여 모델 전환이 정당한지 평가합니다.
- Hard Locks: 활성 툴 루프 또는 제공자 상태 연속 중에 모델 전환을 방지하여 안정성을 유지합니다.
- Diagnostics: 재생 기록은 세션이 모델을 유지하거나 전환한 구체적인 이유를 보존합니다.
프로토콜 호환성 및 하드웨어 지원
확장된 프로토콜 지원
Themis는 OpenAI Chat Completions를 넘어 네이티브 Anthropic /v1/messages 인그레스, OpenAI SSE 변환을 통한 스트리밍, 맞춤형 Anthropic 업스트림 라우팅을 포함합니다. 시스템은 요청 경로 헤더를 통해 프로토콜을 감지하고, 변환이 손실이 발생했을 때를 나타내는 응답 헤더를 제공합니다.
하드웨어 백엔드 경로
Themis는 네 가지 주요 경로에 걸쳐 이기종 추론 스택을 지원합니다:
- NVIDIA CUDA & AMD ROCm: 제공되는 vLLM 백엔드용. AMD 경로는
vllm-sr serve --platform amd를 통해 검증됩니다. - Intel OpenVINO: ModernBERT 시퀀스 분류 및 임베딩 추론을 위한 네이티브 C++ 및 Go 통합을 위한 새로운 바인딩입니다.
- CPU/Local: 개발 및 스모크 테스트용.
신뢰성, 가시성 및 성능
장기 컨텍스트 최적화
장기 컨텍스트 라우팅 비용을 줄이기 위해 Themis는 다음을 도입합니다:
- Online Calibration: 관찰된 응답 사용량으로부터 보정 비율을 학습하여 토큰 추정을 개선합니다.
- Chunked Attention: 네이티브 mmBERT 임베딩 경로가 이제 쿼리 청크 단위로 어텐션을 처리하여 메모리를 제한하고 긴 입력에서 클리핑을 방지합니다.
- Prompt Compression Profiles: 명명된 프로파일(
default,coding,medical,security,multi_turn)은 서빙 모델에 전달되는 원본 프롬프트를 변경하지 않고 신호 추출을 최적화합니다.
저장 및 가시성
이번 릴리스는 Qdrant 벡터 검색 및 Valkey(캐시, 벡터 스토어, 메모리) 지원을 통해 저장 계층을 강화합니다. 또한 O(N) 캐시-LRU 읽기 경로를 상수 시간 리스트 기반 구현으로 교체하고, 라우터 재생을 위한 PostgreSQL 삽입 정확성을 수정했습니다.
벤치마크
RouterArena leaderboard 스냅샷에 따르면, vLLM-SR은 가중 Arena Score 75.4, 정확도 76.0%, 그리고 $0.11 per 1K queries 비용으로 #1 위치로 복귀했습니다.
향후 로드맵: v0.4 Hermes
다가오는 Hermes 릴리스는 “자기 개선 라우터”를 만드는 것을 목표로 합니다. 로드맵은 GPU 규모 성능 연구, DSL 레시피 튜닝, 인코더 모델 파인튜닝 간의 루프를 닫는 데 중점을 두며, SAAR의 모델 전환 경제성을 더욱 강화하고 대시보드를 통한 운영자 디버깅 루프를 확장합니다.
요약: vLLM Semantic Router v0.3 Themis는 상태 저장 프로덕션 라우팅을 도입하며, 세션 인식 에이전트 라우팅 (SAAR), 표준 구성 계약, 그리고 AMD ROCm 및 Intel OpenVINO에 대한 확장된 하드웨어 지원을 특징으로 합니다.
제목: vLLM Semantic Router v0.3 Themis 릴리스 노트