BerriAI/litellm

해결하는 문제

LiteLLM는 여러 LLM 제공업체를 관리하는 복잡성을 단순화합니다. 각 모델마다 다른 SDK, 인증 방식, 요청 형식을 다루는 대신, OpenAI 형식을 사용하여 100개 이상의 LLM 제공업체를 하나의 통합 인터페이스로 호출할 수 있습니다.

작동 방식

LiteLLM는 두 가지 방식으로 구현할 수 있습니다:

1. Python SDK: 코드에 직접 통합할 수 있는 라이브러리로, 일관된 구문을 사용하여 다양한 모델(GPT-4o, Claude Sonnet 등)을 호출할 수 있습니다.
2. AI 게이트웨이(프록시 서버): 자체 호스팅 가능한 중앙 집중식 서비스입니다. 특정 제공업체에 필요한 형식으로 요청을 변환하는 프록시 역할을 하며, 가상 키, 지출 추적, 로드 밸런싱, 가드레일 등의 기업용 기능을 제공합니다.

또한 에이전트를 호출하는 데 A2A 프로토콜을 지원하고, MCP(Model Context Protocol) 브리지로 MCP 서버를 어떤 LLM에도 연결할 수 있습니다.

대상 사용자

여러 LLM 제공업체를 사용하고, 제공업체 종속성에서 벗어나고, 모델을 교체할 때 코드를 다시 작성하지 않으며, 팀의 LLM 호출을 중앙에서 관리하고자 하는 개발자 및 조직에게 적합합니다.

주요 특징

• 통합 API: 100개 이상의 LLM에 대해 하나의 인터페이스를 제공하여 제공업체별 SDK가 필요 없게 됩니다.
• OpenAI 호환성: 즉시 교체 가능한 호환성으로 코드를 재작성하지 않고도 제공업체를 교체할 수 있습니다.
• 기업용 게이트웨이: 가상 키, 지출 추적, 관리 대시보드 기능을 포함합니다.
• 고성능: 1k RPS에서 P95 지연 시간 8ms.
• 에이전트 및 도구 지원: A2A 에이전트 및 MCP 도구 통합을 지원합니다.