BerriAI/litellm

解決する課題

各プロバイダーが独自のSDK、認証方法、リクエスト形式を持っているため、複数のLLMプロバイダーを管理するのは複雑です。このプロジェクトは、開発者がコードを書き直すことなく、100以上のLLMプロバイダー（OpenAI、Anthropic、Gemini、Bedrockなど）を切り替えられる統一インターフェースを提供します。

仕組み

Python SDKおよびセルフホスト型のAI Gateway（プロキシサーバー）として機能します。Python SDKは直接的なライブラリ統合を可能にし、プロキシサーバーは集中管理サービスとして機能します。各プロバイダー固有のAPIを標準的なOpenAI互換形式に変換します。ゲートウェイには、仮想キー、支出追跡、負荷分散、ガードレールといった本番環境向けの機能が含まれています。

対象ユーザー

複数のLLMをアプリケーションに統合する必要がある、APIコストを管理したい、あるいは異なるAIサービス間で一貫したインターフェースを維持したい開発者や組織向けに設計されています。

ハイライト

• 100以上のLLMプロバイダーに対応した統一APIにより、複数のSDKを使い分ける必要がありません。
• OpenAIのAPI形式とのドロップイン互換性。
• 支出追跡、仮想キー、負荷分散などの本番環境向け機能。
• 秒間1,000リクエストでP95レイテンシ8msという高いパフォーマンス。
• MCP (Model Context Protocol) ツール、エージェントハーネス、A2A (Agent-to-Agent) プロトコルなどの高度な機能のサポート。