BerriAI/litellm

何を解決するか

LiteLLM は、複数の大規模言語モデル（LLM）プロバイダーを管理する複雑さを簡素化します。各モデルごとに異なる SDK、認証パターン、リクエスト形式を扱う必要がなくなり、OpenAI 形式を使用して 100 以上の LLM プロバイダーを一元的に呼び出すための単一の統合インターフェースを提供します。

動作方法

LiteLLM は主に以下の 2 つの方法で使用できます：

1. Python SDK：Python アプリケーションに直接統合可能なライブラリ。開発者は一貫した API を使ってさまざまなモデルを呼び出せます。
2. AI Gateway（プロキシサーバー）：中央集権的で自己ホスト可能なサービス。OpenAI 形式のリクエストを、対象の LLM プロバイダーに特有の要件に変換します。これにより、コードの再実装なしにプロバイダーを切り替えることが可能になります。

さらに、A2A（エージェント間）プロトコル、MCP（モデルコンテキストプロトコル）ツール統合、および Claude Code や Codex などの特定の AI エージェントを任意のモデル上で実行するためのハーネスもサポートしています。

対象ユーザー

OpenAI、Anthropic、Gemini、Bedrock など複数の LLM プロバイダーを使用しており、プロバイダーの縛りを避け、API キーの管理を集中化し、支出追跡やロードバランシングなどの本番環境対応機能を実装したい開発者や組織。

主な特徴

• 統合 API：100 以上の LLM に対して一貫したインターフェースを提供。プロバイダー固有の SDK の必要性がありません。
• OpenAI 互換性：即座に置き換え可能な互換性により、プロバイダーの切り替えが容易です。
• エンタープライズ機能：AI Gateway を通じて仮想キー、支出追跡、ガードレール、ロードバランシングをサポート。
• 低レイテンシ：1k RPS で 8ms の P95 レイテンシを達成。
• 拡張性のあるツールキット：MCP サーバーおよび A2A エージェントプロトコルをサポート。