litellm: とは何なのか、どのような問題を解決し、なぜ注目を集めているのか

解決する問題

LiteLLMは、複数のLLMプロバイダーを管理する複雑さを解決します。モデルごとに異なるSDK、認証パターン、リクエスト形式を使い分ける代わりに、OpenAI形式を使用して100以上のLLMプロバイダーを呼び出すための、単一の統合されたインターフェースを提供します。

仕組み

主に2つのモードで動作します：

1. Python SDK: Pythonアプリケーションに直接統合するためのライブラリ。
2. AI Gateway (Proxy Server): アプリケーションと様々なLLMプロバイダーとの間の仲介役として機能する、中央集権的なセルフホスト型サービス。これにより、コードを書き換えることなくモデルを切り替えることができます。

対象ユーザー

OpenAI、Anthropic、Gemini、Bedrockなどの異なるプロバイダーから複数のAIモデルを利用しており、プロバイダーへのロックインを避け、統合のオーバーヘッドを削減したい開発者や組織。

ハイライト

• Unified API: 100以上のLLMに対応する単一のインターフェース。
• OpenAI Compatibility: OpenAI形式の呼び出しのドロップイン・リプレイスメント。
• Enterprise Features: 仮想キー、支出トラッキング、ロードバランシング、ガードレール機能を含む。
• Agent & Tool Integration: A2A AgentプロトコルとMCP (Model Context Protocol) ツールをサポート。
• High Performance: 1k RPSにおいて8msのP95レイテンシ。