litellm: 단일 OpenAI 호환 API로 100개 이상의 LLM을 호출하는 통합 AI 게이트웨이 및 SDK

해결하는 문제

LiteLLM은 여러 대형 언어 모델(LLM) 제공자를 관리하는 복잡성을 단순화합니다. OpenAI, Anthropic, Gemini와 같은 각 제공자마다 다른 SDK, 인증 방식, 요청 형식을 다루는 대신, OpenAI 형식을 사용해 100개 이상의 LLM을 호출할 수 있는 단일 통합 인터페이스를 제공합니다.

작동 방식

LiteLLM은 두 가지 방법으로 구현할 수 있습니다:

1. Python SDK: 코드에 직접 통합할 수 있는 라이브러리로, 일관된 함수 호출을 통해 다양한 모델을 사용할 수 있습니다.
2. AI Gateway (프록시 서버): 자체 호스팅이 가능한 중앙 서비스로, 요청을 해당 제공자 전용 형식으로 변환하는 프록시 역할을 합니다. 가상 키, 비용 추적, 로드 밸런싱, 가드레일 등 기업용 기능을 제공합니다.

또한, 에이전트를 호출하기 위한 A2A 프로토콜을 지원하고, MCP(Model Context Protocol) 브리지를 제공하여 MCP 서버를 모든 LLM에 연결할 수 있습니다.

대상 사용자

여러 LLM 제공자를 사용하고 제공자 종속성을 피하고 싶으며, 모델 교체 시 코드 재작성 비용을 줄이고 팀 전체에 걸쳐 LLM 사용을 중앙에서 관리하고자 하는 개발자 및 조직을 위한 솔루션입니다.

주요 특징

• 통합 API: 100개 이상의 LLM을 위한 하나의 인터페이스로, 제공자별 SDK가 필요 없습니다.
• OpenAI 호환성: 코드 재작성 없이 제공자를 교체할 수 있는 즉시 사용 가능한 호환성.
• 엔터프라이즈 게이트웨이: 가상 키, 비용 추적, 관리 대시보드 포함.
• 고성능: 1k RPS에서 8ms P95 지연 시간.
• 에이전트 및 도구 통합: A2A 에이전트와 MCP 도구 지원.