aurelio-labs/semantic-router

Superfast AI decision making and intelligent processing of multi-modal data.

What it solves

Semantic Router는 LLM 및 AI 에이전트를 위한 고속 의사결정 레이어를 제공합니다. 어떤 도구를 사용할지 혹은 요청을 어떻게 라우팅할지 결정하기 위해 느린 LLM 생성 결과를 기다릴 필요가 없어 지연 시간이 감소하고 응답 속도가 향상됩니다.

How it works

이 프로젝트는 쿼리 분류에 LLM을 사용하지 않고 의미 벡터 공간을 활용합니다. 개발자는 예시 발화 집합을 포함하는 Route 객체를 정의할 수 있습니다. 사용자의 쿼리가 들어오면 프로젝트는 해당 쿼리를 벡터로 인코딩하고, 라우트의 발화 벡터와 비교하여 의미적으로 가장 적합한 경로를 결정합니다.

Who it’s for

LLM 기반 애플리케이션 및 AI 에이전트를 구축하는 개발자들을 위한 것으로, 비용이 많이 들거나 느린 LLM 호출에 의존하지 않고 빠르고 효율적인 인텐트 분류와 요청 라우팅이 필요합니다.

Highlights

  • Fast Decision Making: Uses vector embeddings rather than LLM generation for routing decisions.
  • Flexible Encoders: Supports multiple embedding providers including Cohere, OpenAI, Hugging Face, and FastEmbed.
  • Local Execution: Ability to run fully local versions using HuggingFaceEncoder and LlamaCppLLM.
  • Vector DB Integration: Integrates with Pinecone and Qdrant for managing utterance vector spaces.
  • Multi-modal Support: Capable of routing based on multi-modal inputs (e.g., identifying images).
  • Agent Framework Integration: Works with LangChain Agents.