BerriAI/litellm

何を解決するか

LiteLLM は複数のLLMプロバイダーを管理する複雑さを簡素化します。各モデルごとに異なるSDK、認証パターン、リクエスト形式を扱う必要がなくなり、OpenAI形式を使用して100以上のLLMプロバイダーを一元的に呼び出せる単一の統合インターフェースを提供します。

動作方法

LiteLLMは以下の2つの方法で実装できます：

1. Python SDK：コード内に直接統合可能なライブラリ。GPT-4o、Claude Sonnetなど、さまざまなモデルを一貫した構文で呼び出せます。
2. AIゲートウェイ（プロキシサーバー）：自己ホスティング可能な中央集権的なサービス。特定のプロバイダーに必要な形式にリクエストを変換するプロキシとして機能し、仮想キー、コスト追跡、ロードバランシング、ガードレールなどのエンタープライズ機能を提供します。

さらに、エージェント呼び出しにA2Aプロトコルをサポートし、MCP（Model Context Protocol）ブリッジを提供してMCPサーバーを任意のLLMに接続できます。

対象ユーザー

複数のLLMプロバイダーを使用し、プロバイダーの縛りを避け、モデルの切り替え時にコードの再記述を減らしたい開発者や組織向けです。チーム全体のLLM呼び出しを一元管理したい場合にも最適です。

主な特徴

• 統合API：100以上のLLMに対して1つのインターフェースを提供し、プロバイダー固有のSDKの必要性を排除します。
• OpenAI互換性：即座に置き換え可能な互換性により、コードの再記述なしにプロバイダーを切り替えられます。
• エンタープライズゲートウェイ：仮想キー、コスト追跡、管理ダッシュボードを含みます。
• 高パフォーマンス：1k RPSで8msのP95レイテンシ。
• エージェント・ツールサポート：A2AエージェントおよびMCPツールの統合をサポートします。