litellm: 100 以上の LLM を単一の OpenAI 互換 API で呼び出す統合 AI ゲートウェイと SDK

litellm: 100 以上の LLM を単一の OpenAI 互換 API で呼び出す統合 AI ゲートウェイと SDK

解決する課題

LiteLLM は、複数の大規模言語モデル（LLM）プロバイダーを管理する複雑さをシンプルにします。OpenAI、Anthropic、Gemini など、各プロバイダーごとに異なる SDK、認証パターン、リクエスト形式を使い分ける必要がある代わりに、OpenAI 形式で 100 以上の LLM を呼び出すための単一の統合インターフェースを提供します。

仕組み

LiteLLM は次の 2 つの方法で実装できます。

  1. Python SDK: コードに直接組み込むためのライブラリで、統一された関数呼び出しでさまざまなモデルを利用できます。
  2. AI ゲートウェイ（プロキシサーバー）: 自己ホスト可能な集中サービスです。リクエストをプロバイダー固有の形式に変換するプロキシとして機能し、仮想キー、支出トラッキング、ロードバランシング、ガードレールといったエンタープライズ機能を提供します。

さらに、エージェント呼び出しのための A2A プロトコルをサポートし、MCP（Model Context Protocol）ブリッジを提供して MCP サーバーを任意の LLM に接続できます。

対象ユーザー

複数の LLM プロバイダーを利用し、プロバイダーへのロックインを回避したい、モデルを入れ替える際のコード書き換えを減らしたい、チーム全体で LLM の使用を一元管理したい開発者や組織向けです。

ハイライト

  • 統一 API: 100 以上の LLM に対して 1 つのインターフェースを提供し、プロバイダー固有の SDK が不要になります。
  • OpenAI 互換性: ドロップイン互換により、コードを書き換えることなくプロバイダーを切り替えられます。
  • エンタープライズゲートウェイ: 仮想キー、支出トラッキング、管理ダッシュボードを含みます。
  • 高性能: 1k RPS で P95 レイテンシが 8ms。
  • エージェント・ツール統合: A2A エージェントと MCP ツールをサポート。

要約

100 以上の異なる LLM プロバイダーを呼び出すための統一された OpenAI 形式インターフェースを提供する、オープンソースの AI ゲートウェイと Python SDK です。

タイトル

litellm: 100 以上の LLM を単一の OpenAI 互換 API で呼び出す統合 AI ゲートウェイと SDK

Sources