Litelm: LiteLLM의 미니멀리스트 대안
Litelm은 LiteLLM의 방대한 기능 세트 없이 핵심적인 라우팅 및 번역 기능을 제공하도록 설계된 미니멀리스트 Python 라이브러리입니다. 코드베이스를 약 2,900줄로 줄였으며 openai와 httpx라는 두 가지 주요 의존성만 사용합니다.
핵심 기능 및 API
Litelm은 모델 라우팅, 메시지 번역, 스트리밍, 도구 사용 및 임베딩을 위한 간소화된 경로를 제공합니다. LiteLLM의 함수 이름, 인자, 응답 유형을 그대로 반영하여 LiteLLM의 드롭인 교체(drop-in replacement)로 설계되었습니다. 이를 통해 개발자는 단순히 import 문을 변경하는 것만으로 LiteLLM에서 Litelm으로 전환할 수 있습니다.
지원 기능
- 모델 라우팅:
provider/model구문을 올바른 API 엔드포인트로 매핑합니다. - 메시지 번역: Anthropic, Bedrock, Cloudflare, Mistral을 포함한 제공업체의 형식 변환을 처리합니다.
- 스트리밍: 스트리밍 응답을 지원하며
stream_chunk_builder를 포함합니다. - 도구 사용: 함수 호출(function calling) 및 도구 정의를 지원합니다.
- 임베딩: 임베딩 모델을 위한 라우팅 및 번역을 제공합니다.
- 텍스트 완성(Text Completions): 표준 텍스트 완성 엔드포인트를 지원합니다.
- OpenAI 응답 API: OpenAI 스타일의 응답 객체와 호환성을 유지합니다.
제거된 기능
작은 크기를 유지하기 위해 Litelm은 LiteLLM에서 발견되는 여러 고수준 관리 기능을 제거했습니다:
- Router Class: 내장된 로드 밸런싱이나 자동 폴백(fallback) 기능이 없습니다.
- Proxy Server: 통합된 프록시 기능이 없습니다.
- 캐싱 및 예산 관리: 내장된 캐싱, 비용 추적 또는 지출 관리 기능이 없습니다.
- 토큰 카운팅: 통합된 토큰 카운팅 유틸리티가 없습니다.
- 고급 모달리티: 이미지 생성, 오디오, OCR 또는 파인튜닝을 지원하지 않습니다.
- 에이전트 및 가드레일: 통합된 에이전트 프레임워크, 스케줄러 또는 가드레일 기능이 없습니다.
제공업체 지원 및 통합
Litelm은 provider/model-name 구문을 사용하여 19개의 제공업체를 지원합니다. 또한 api_base 파라미터를 통해 모든 OpenAI 호환 엔드포인트를 지원합니다.
| Provider | Environment Variable | Handler Type |
|---|---|---|
| OpenAI | OPENAI_API_KEY |
OpenAI SDK |
| Anthropic | ANTHROPIC_API_KEY |
Custom |
| Groq | GROQ_API_KEY |
OpenAI-compat |
| Mistral | MISTRAL_API_KEY |
Custom |
| xAI | XAI_API_KEY |
OpenAI-compat |
| OpenRouter | OPENROUTER_API_KEY |
OpenAI-compat |
| Azure | AZURE_API_KEY |
OpenAI SDK (Azure) |
| Bedrock | AWS_ACCESS_KEY_ID |
Custom |
| Cloudflare | CLOUDFLARE_API_TOKEN |
Custom |
| Together | TOGETHERAI_API_KEY |
OpenAI-compat |
| Fireworks | FIREWORKS_API_KEY |
OpenAI-compat |
| DeepSeek | DEEPSEEK_API_KEY |
OpenAI-compat |
| Perplexity | PERPLEXITYAI_API_KEY |
OpenAI-compat |
| DeepInfra | DEEPINFRA_API_TOKEN |
OpenAI-compat |
| Gemini | GEMINI_API_KEY |
OpenAI-compat |
| Cohere | COHERE_API_KEY |
OpenAI-compat |
| Ollama | N/A | OpenAI-compat |
| vLLM | N/A | OpenAI-compat |
| LM Studio | N/A | OpenAI-compat |
기술적 구현 및 상태
Litelm은 현재 Alpha 단계입니다. 프로젝트 유지 관리자는 DSPy를 위한 드롭인 교체제로 사용할 수 있음을 확인했으며, 7가지 실행 경로(Predict, CoT, typed signatures, streaming, embeddings, tool use, multi-output)가 모두 정상 작동함을 입증했습니다.
개발 방법론
이 소프트웨어는 하이브리드 인간-AI 접근 방식을 사용하여 개발되었습니다. 2026년 5월 14일 이전에 작성된 코드는 Claude Code (Claude Opus 4.6/4.7)의 도움을 받았으며, 이후의 코드는 Pi를 통해 GPT-5.5를 사용하여 작성되었습니다. 유지 관리자는 호환성을 보장하기 위해 업스트림 LiteLLM 프로젝트의 360개 핵심 경로 커밋을 수동으로 감사했습니다.
오류 처리
Litelm은 제공업체별 오류를 표준화된 예외 계층 구조로 매핑합니다. 여기에는 ContextWindowExceededError, RateLimitError, AuthenticationError 등이 포함됩니다.
커뮤니티 피드백 및 관점
Hacker News의 커뮤니티 토론에서는 미니멀리즘을 가치를 가치로 두는 사람들과 Litelm이 제거한
Sources
관련
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트