BerriAI/litellm

The fastest, litest AI Gateway. Rust core with Python SDK. Call 100+ LLM APIs in OpenAI (or native) format with cost tracking, guardrails, load balancing, and logging [Bedrock, Azure, OpenAI, Anthropic, OpenAI, VertexAI, vLLM, Nvidia NIM]

What it solves

LiteLLM은 여러 대형 언어 모델(LLM) 제공자를 관리하는 복잡성을 단순화합니다. 모델마다 다른 SDK, 인증 방식, 요청 형식을 사용해야 하는 대신, LiteLLM은 OpenAI 형식을 사용해 100개 이상의 LLM 제공자를 호출할 수 있는 단일 통합 인터페이스를 제공합니다.

How it works

LiteLLM은 주로 두 가지 방법으로 구현할 수 있습니다:

  1. Python SDK: 애플리케이션 코드에 직접 통합할 수 있는 라이브러리.
  2. AI Gateway (Proxy Server): 애플리케이션과 다양한 LLM 제공자 사이의 중개 역할을 하는 중앙 집중형 자체 호스팅 서비스로, 코드를 다시 작성하지 않고도 제공자를 교체할 수 있습니다.

또한 에이전트 간 호출을 위한 A2A(Agent-to-Agent) 프로토콜과 MCP(Model Context Protocol) 브리지를 포함하여 MCP 서버를 모든 LLM에 연결할 수 있습니다.

Who it’s for

OpenAI, Anthropic, Gemini, Bedrock 등 여러 LLM 제공자를 사용하고, 제공자 종속을 피하고 API 관리를 중앙화하며 일관된 API 형식을 유지하고자 하는 개발자와 조직을 위한 솔루션입니다.

Highlights

  • Unified API: 100개 이상의 LLM을 하나의 인터페이스로 제공, 제공자별 SDK 필요 없음.
  • OpenAI Compatibility: 드롭인 호환성으로 제공자 교체가 쉬움.
  • Enterprise Features: 가상 키, 비용 추적, 로드 밸런싱, 가드레일, 관리자 대시보드 포함.
  • High Performance: 낮은 지연 시간(8ms P95, 1k RPS).
  • Agent & Tool Integration: A2A 에이전트와 MCP 도구 지원.