ulab-uiuc/LLMRouter

해결하는 문제

LLMRouter는 주어진 쿼리에 가장 적합한 모델을 동적으로 선택하여 LLM 추론 최적화 문제를 해결합니다. 작업 복잡성, 추론 비용, 성능 요구 사항 간의 균형을 맞추는 것을 목표로 하며, 단순한 작업에 비싸고 고성능인 모델을 사용하는 것을 방지하고 복잡한 쿼리는 가장 뛰어난 모델이 처리하도록 보장합니다.

작동 방식

이 시스템은 라우팅을 순차적 의사 결정 프로세스로 처리하며, 16개 이상의 라우팅 전략을 갖춘 모듈식 프레임워크를 제공합니다. 쿼리를 분석하고 다양한 방법에 따라 최적의 LLM으로 라우팅합니다:

• 라우팅 카테고리: 단일 턴, 멀티 턴, 멀티모달, 에이전트형, 개인화된 라우터를 지원합니다.
• 라우팅 방법: K-Nearest Neighbors (KNN), Support Vector Machines (SVM), Multi-Layer Perceptrons (MLP), 행렬 분해, Elo Rating, 그래프 기반 라우팅, BERT 기반 라우팅 등의 전략이 포함됩니다.
• 인프라: 학습 및 추론을 위한 통합 CLI, 대화형 채팅을 위한 Gradio UI, 시각적 파이프라인 구축을 위한 ComfyUI 인터페이스가 포함되어 있습니다.
• 데이터 파이프라인: 11개의 벤치마크 데이터셋에서 학습 데이터를 생성하는 내장 파이프라인을 통해 API 호출 및 응답 평가를 자동화하여 라우터를 학습시킵니다.

대상 사용자

이 도구는 응답 품질을 희생하지 않으면서 LLM 운영 비용을 절감하고 효율성을 높이려는 개발자와 연구자를 위해 설계되었습니다. 특히 여러 LLM 제공업체를 관리하거나 멀티모달 및 개인화된 AI 애플리케이션을 배포하는 사용자에게 적합합니다.

주요 특징

• 광범위한 라우터 라이브러리: 5개의 서로 다른 카테고리에 걸친 16개 이상의 라우팅 모델.
• 통합 인프라: CLI, Gradio UI, ComfyUI 시각적 인터페이스 제공.
• 포괄적인 벤치마킹: xRouteBench 및 11개의 벤치마크 데이터셋을 지원하는 데이터 파이프라인 포함.
• 유연한 배포: OpenAI 호환 API, 로컬 LLM (Ollama, vLLM, SGLang 사용), 프로덕션 API 서버를 위한 OpenClaw와의 통합 지원.
• 멀티모달 지원: 시계열, 이미지, 비디오 쿼리 라우팅 가능.