vllm-project/semantic-router

An open, programmable decision layer for models and compute.

해결하는 문제

AI 모델과 컴퓨팅 리소스의 파편화를 해결합니다. 단일 모델에 의존하는 대신, 개발자가 특정 작업, 비용, 지연 시간 및 위치 요구 사항에 따라 가장 적절한 모델과 백엔드를 선택하거나 결합할 수 있는 프로그래밍 가능한 의사 결정 계층을 제공합니다.

작동 방식

에이전트 하네스와 다양한 모델 백엔드 사이의 API 게이트웨이 역할을 합니다. 에이전트 하네스가 루프와 상태를 관리하는 동안 Router는 정의된 정책을 사용하여 로컬, 프라이빗 또는 클라우드 컴퓨팅의 구성된 백엔드로 호출을 라우팅합니다. 단일 모델을 선택하거나 여러 모델(모델 혼합)을 결합하여 성능을 최적화할 수 있습니다.

대상

이질적인 모델 및 하드웨어 환경에서 품질, 비용 및 지연 시간을 최적화해야 하는 AI 에이전트 및 LLM 애플리케이션을 구축하는 개발자.

주요 기능

  • 프로그래밍 가능한 의사 결정 계층: 작업에 가장 적합한 모델로 요청을 자동 라우팅하는 정책을 설정합니다.
  • 다중 백엔드 지원: 로컬, 프라이빗 및 클라우드 컴퓨팅 간에 원활하게 전환합니다.
  • 모델 혼합: 단일 호출에 여러 모델을 결합하는 기능.
  • 통합 환각 탐지: 생성적 환각 탐지를 위한 엔드포인트로 LettuceDetect와 같은 기능이 포함됩니다.

관련