semantic-router: LLM 및 에이전트를 위한 의미론적 벡터 공간을 이용한 초고속 의사결정 레이어

해결하는 문제

Semantic Router는 LLM 및 AI 에이전트를 위한 고속 의사결정 레이어를 제공합니다. 어떤 도구를 사용할지 또는 요청을 어떻게 라우팅할지 결정하기 위해 느린 LLM 생성을 기다릴 필요가 없으므로, 지연 시간을 줄이고 응답 시간을 개선합니다.

작동 방식

쿼리를 분류하기 위해 LLM을 사용하는 대신, 이 프로젝트는 의미론적 벡터 공간을 사용합니다. 개발자는 일련의 예시 발화(utterances)를 포함하는 Route 객체를 정의할 수 있습니다. 사용자 쿼리가 도착하면, 프로젝트는 쿼리를 벡터로 인코딩하고 의미론적 의미를 기반으로 가장 적절한 경로를 결정하기 위해 라우트의 발화들과 비교합니다.

대상 사용자

비용이 많이 들거나 느린 LLM 호출에 의존하지 않고 의도 분류 및 요청 라우팅을 빠르고 효율적으로 처리할 수 있는 방법이 필요한 LLM 기반 애플리케이션 및 AI 에이전트를 구축하는 개발자.

주요 특징

• 빠른 의사결정: 라우팅 결정을 위해 LLM 생성 대신 벡터 임베딩을 사용합니다.
• 유연한 인코더: Cohere, OpenAI, Hugging Face, FastEmbed를 포함한 여러 임베딩 제공업체를 지원합니다.
• 로컬 실행: HuggingFaceEncoder 및 LlamaCppLLM을 사용하여 완전히 로컬 버전을 실행할 수 있는 기능.
• 벡터 DB 통합: 발화 벡터 공간을 관리하기 위해 Pinecone 및 Qdrant와 통합됩니다.
• 멀티모달 지원: 멀티모달 입력(예: 이미지 식별)을 기반으로 라우팅할 수 있습니다.
• 에이전트 프레임워크 통합: LangChain Agents와 함께 작동합니다.