BerriAI/litellm

해결하는 문제

LiteLLM는 여러 대규모 언어 모델(LLM) 공급업체를 관리하는 복잡성을 단순화합니다. 각 모델마다 다른 SDK, 인증 패턴, 요청 형식을 다루는 대신, OpenAI 형식을 사용하여 100개 이상의 LLM 공급업체를 하나의 통합 인터페이스로 호출할 수 있습니다.

작동 방식

LiteLLM는 주로 두 가지 방식으로 사용할 수 있습니다:

1. Python SDK: Python 애플리케이션에 직접 통합할 수 있는 라이브러리로, 개발자가 일관된 API를 사용해 다양한 모델을 호출할 수 있습니다.
2. AI 게이트웨이(프록시 서버): 중앙집중식으로 자체 호스팅 가능한 서비스로, OpenAI 형식의 요청을 대상 LLM 공급업체의 특정 요구사항으로 변환합니다. 이를 통해 코드를 재작성하지 않고도 공급업체를 쉽게 교체할 수 있습니다.

또한 A2A(에이전트 간) 프로토콜, MCP(모델 컨텍스트 프로토콜) 도구 통합, 그리고 Claude Code나 Codex와 같은 특정 AI 에이전트를 어떤 모델에서도 실행할 수 있는 허브를 지원합니다.

대상 사용자

OpenAI, Anthropic, Gemini, Bedrock 등 여러 LLM 공급업체를 사용하고 있으며, 공급업체 종속성 회피, API 키 관리의 중앙화, 지출 추적 및 로드 밸런싱과 같은 프로덕션 준비 기능을 구현하고자 하는 개발자 및 조직.

주요 특징

• 통합 API: 100개 이상의 LLM에 대해 하나의 인터페이스를 제공하여 공급업체별 SDK가 필요 없음.
• OpenAI 호환성: 즉시 교체 가능한 호환성으로 공급업체 전환을 간편하게 가능하게 함.
• 엔터프라이즈 기능: AI 게이트웨이를 통해 가상 키, 지출 추적, 가드레일, 로드 밸런싱을 지원.
• 저지연: 1k RPS에서 8ms의 P95 지연 시간을 달성.
• 확장 가능한 도구: MCP 서버 및 A2A 에이전트 프로토콜을 지원.