BerriAI/litellm

The fastest, litest AI Gateway. Rust core with Python SDK. Call 100+ LLM APIs in OpenAI (or native) format with cost tracking, guardrails, load balancing, and logging [Bedrock, Azure, OpenAI, Anthropic, OpenAI, VertexAI, vLLM, Nvidia NIM]

What it solves

LiteLLM は、複数の大規模言語モデル（LLM）プロバイダーを管理する複雑さをシンプルにします。モデルごとに異なる SDK、認証パターン、リクエスト形式を使い分ける代わりに、LiteLLM は OpenAI 形式で 100 以上の LLM プロバイダーを呼び出す単一の統一インターフェースを提供します。

How it works

LiteLLM は主に 2 つの方法で実装できます：

  1. Python SDK：アプリケーションコードに直接統合できるライブラリ。
  2. AI Gateway (Proxy Server)：アプリケーションと各種 LLM プロバイダーの間に立つ集中型セルフホストサービス。コードを書き直すことなくプロバイダーを切り替えられます。

また、エージェント間呼び出し用の A2A（Agent-to-Agent）プロトコルと、MCP（Model Context Protocol）サーバーを任意の LLM に接続するブリッジも含まれています。

Who it’s for

OpenAI、Anthropic、Gemini、Bedrock など複数の LLM プロバイダーを利用し、プロバイダーへのロックインを避け、API 管理を集中化し、一貫した API 形式を保ちたい開発者や組織向けです。

Highlights

  • Unified API：100 以上の LLM に対して 1 つのインターフェースで対応し、プロバイダー固有の SDK が不要になります。
  • OpenAI Compatibility：ドロップイン互換性により、プロバイダーの入れ替えが簡単です。
  • Enterprise Features：仮想キー、支出トラッキング、ロードバランシング、ガードレール、管理ダッシュボードを含みます。
  • High Performance：低レイテンシ（8ms P95、1k RPS）。
  • Agent & Tool Integration：A2A エージェントと MCP ツールをサポート。