aurelio-labs/semantic-router

해결하는 문제

Semantic Router는 LLM 및 AI 에이전트를 위한 고속 의사결정 계층을 제공합니다. 사용자 입력을 처리하는 방법(어떤 도구를 사용할지, 특정 워크플로우를 트리거할지 등)을 결정하기 위해 느리고 비용이 많이 드는 LLM 호출에 의존하는 대신, 이러한 라우팅 결정을 밀리초 단위로 수행합니다.

작동 방식

사용자 요청의 의미론적 의미를 벡터 공간 임베딩이나 전문 의사결정 모델을 사용하여 미리 정의된 '경로(routes)' 세트와 비교하여 작동합니다. 예시 발화가 포함된 Route 객체를 정의함으로써 시스템은 들어오는 쿼리를 분류할 수 있습니다. FastEmbed를 통한 로컬 실행, Pinecone 및 Qdrant와 같은 다양한 벡터 데이터베이스와의 통합, 그리고 개발자가 신뢰도 임계값을 설정하여 라우터의 잘못된 결정을 방지할 수 있는 보정 기능을 지원합니다.

대상 사용자

이 프로젝트는 LLM 애플리케이션이나 에이전트를 구축하는 개발자를 위한 것으로, 전체 LLM 생성의 지연 시간 없이 대화 흐름, 도구 선택 또는 의도 분류를 관리하기 위해 빠르고 안정적인 제어 계층을 추가해야 하는 경우에 적합합니다.

주요 특징

• 낮은 지연 시간: 밀리초 단위로 라우팅 결정을 내리므로 표준 LLM 기반 디스패치보다 훨씬 빠릅니다.
• 유연한 라우팅: 의미론적 벡터 기반 매칭과 논리 기반 의사결정 모델을 모두 지원합니다.
• 보정: 신뢰도 점수를 보정하는 도구가 포함되어 있어, 쿼리가 정의된 경로와 일치하지 않을 경우 'none' 결과를 반환하도록 설정할 수 있습니다.
• 확장성: LangChain과 같은 인기 있는 도구와 통합되며 Pinecone, Qdrant, Postgres를 포함한 여러 스토리지 백엔드를 지원합니다.
• 멀티모달: 텍스트 외에도 이미지 입력을 기반으로 라우팅할 수 있습니다.