aurelio-labs/semantic-router

해결하는 문제

Semantic Router는 LLM 및 AI 에이전트를 위한 고속 의사 결정 레이어를 제공합니다. 어떤 도구를 사용할지 또는 어떤 경로를 선택할지 결정하기 위해 느린 LLM 생성을 기다릴 필요가 없으므로, 지연 시간을 줄이고 대화 흐름에 대한 제어력을 향상시킵니다.

작동 방식

의도를 분류하기 위해 LLM을 사용하는 대신, 이 프로젝트는 의미론적 벡터 공간을 사용합니다. 개발자는 이름과 일련의 예시 발화가 포함된 Route 객체를 정의할 수 있습니다. 그러면 RouteLayer가 임베딩 모델(인코더)을 사용하여 사용자의 쿼리를 이러한 사전 정의된 라우트와 비교하여 의미적으로 가장 유사한 일치를 찾아 요청을 적절한 경로로 라우팅합니다.

대상

전체 LLM 호출의 오버헤드 없이 사용자 입력을 특정 함수, 도구 또는 대화 프롬프트로 빠르고 결정론적으로 라우팅해야 하는 AI 에이전트 및 LLM 기반 챗봇을 구축하는 개발자.

주요 특징

• 빠른 의사 결정: 라우팅 결정을 위해 LLM 생성 대신 임베딩을 사용합니다.
• 유연한 인코더: OpenAI, Cohere, Hugging Face 및 FastEmbed를 포함한 여러 임베딩 제공업체를 지원합니다.
• 로컬 실행: HuggingFaceEncoder 및 LlamaCppLLM을 사용하여 완전히 로컬에서 라우팅을 실행할 수 있습니다.
• 벡터 데이터베이스 통합: 발화 벡터 공간 관리를 위해 Pinecone 및 Qdrant와 통합됩니다.
• 멀티모달 지원: 다양한 유형의 시각적 입력을 식별하기 위한 멀티모달 라우트를 처리할 수 있습니다.
• LangChain 통합: LangChain Agents와 즉시 사용 가능한 통합 기능을 제공합니다.