BerriAI/litellm

해결하는 문제

각 제공업체마다 고유한 SDK, 인증 방식, 요청 형식을 가지고 있어 여러 LLM 제공업체의 호출을 관리하는 것은 복잡합니다. 이 프로젝트는 개발자가 코드를 다시 작성할 필요 없이 100개 이상의 LLM 제공업체(OpenAI, Anthropic, Gemini, Bedrock 등) 간에 전환할 수 있는 통합 인터페이스를 제공합니다.

작동 방식

Python SDK이자 자체 호스팅 가능한 AI Gateway(프록시 서버)로 작동합니다. Python SDK는 직접적인 라이브러리 통합을 가능하게 하며, 프록시 서버는 중앙 집중식 서비스 역할을 합니다. 다양한 제공업체별 API를 표준 OpenAI 호환 형식으로 변환합니다. 게이트웨이에는 가상 키, 비용 추적, 로드 밸런싱, 가드레일과 같은 프로덕션 준비 기능이 포함되어 있습니다.

대상 사용자

여러 LLM을 애플리케이션에 통합해야 하거나, API 비용을 관리하거나, 다양한 AI 서비스 전반에서 일관된 인터페이스를 유지해야 하는 개발자 및 조직을 위해 설계되었습니다.

주요 특징

• 100개 이상의 LLM 제공업체를 위한 통합 API로, 여러 SDK를 관리할 필요가 없습니다.
• OpenAI API 형식과 즉시 호환됩니다.
• 비용 추적, 가상 키, 로드 밸런싱 등 프로덕션 준비 기능 제공.
• 초당 1,000건의 요청 처리 시 P95 지연 시간 8ms의 고성능.
• MCP (Model Context Protocol) 도구, 에이전트 하네스, A2A (Agent-to-Agent) 프로토콜과 같은 고급 기능 지원.