ulab-uiuc/LLMRouter

解決する課題

LLMRouterは、クエリごとに最適なモデルを動的に選択することで、LLM推論の最適化という課題に対処します。タスクの複雑さ、推論コスト、パフォーマンス要件のバランスを取り、単純なタスクに高価で高性能なモデルを使用することを防ぎつつ、複雑なクエリには最も能力の高いモデルが確実に対応できるようにすることを目的としています。

仕組み

このシステムはルーティングを逐次的な意思決定プロセスとして扱い、16種類以上のルーティング戦略を備えたモジュール式フレームワークを提供します。クエリを分析し、さまざまな手法に基づいて最適なLLMへルーティングします：

• ルーティングカテゴリ：シングルターン、マルチターン、マルチモーダル、エージェント型、パーソナライズされたルーターをサポートしています。
• ルーティング手法：K-Nearest Neighbors (KNN)、Support Vector Machines (SVM)、Multi-Layer Perceptrons (MLP)、行列分解、Elo Rating、グラフベースのルーティング、BERTベースのルーティングなどの戦略が含まれます。
• インフラストラクチャ：トレーニングと推論のための統合CLI、インタラクティブなチャット用のGradio UI、視覚的なパイプライン構築のためのComfyUIインターフェースが含まれています。
• データパイプライン：11のベンチマークデータセットからトレーニングデータを生成する組み込みパイプラインにより、API呼び出しと応答評価を自動化してルーターをトレーニングします。

対象ユーザー

このツールは、応答品質を犠牲にすることなくLLMの運用コストを削減し、効率を向上させたい開発者や研究者向けに設計されています。特に、複数のLLMプロバイダーを管理している方や、マルチモーダルおよびパーソナライズされたAIアプリケーションをデプロイしている方に最適です。

ハイライト

• 広範なルーターライブラリ：5つの異なるカテゴリにわたる16種類以上のルーティングモデル。
• 統合されたインフラストラクチャ：CLI、Gradio UI、ComfyUI視覚インターフェースを提供。
• 包括的なベンチマーク：xRouteBenchと11のベンチマークデータセットをサポートするデータパイプラインを同梱。
• 柔軟なデプロイメント：OpenAI互換API、ローカルLLM (Ollama, vLLM, SGLang経由)、および本番環境APIサーバー用のOpenClawとの統合をサポート。
• マルチモーダルサポート：時系列データ、画像、動画クエリのルーティングが可能。