Litelm: LiteLLM のミニマリスト版代替品

Litelm は、オリジナルプロジェクトの広範な機能セットを排除し、LiteLLM のコアのルーティングおよび翻訳機能を提供するミニマリストな Python ライブラリです。コードベースは約 2,900 行に削減され、主に openai と httpx の 2 つの主要な依存関係に依存しています。

コア機能と API

Litelm はモデルルーティング、メッセージ翻訳、ストリーミング、ツール使用、埋め込みのためのスムーズなパスを提供します。これは LiteLLM へのドロップイン置き換えとして設計されており、関数名、引数、応答タイプをそのまま反映しています。これにより、開発者はインポート文を変更するだけで LiteLLM から Litelm に切り替えることができます。

対応機能

モデルルーティング: provider/model 構文を正しい API エンドポイントにマッピングします。
メッセージ翻訳: Anthropic、Bedrock、Cloudflare、Mistral などのプロバイダーのフォーマット変換を処理します。
ストリーミング: ストリーミング応答をサポートし、stream_chunk_builder を含みます。
ツール使用: 関数呼び出しとツール定義をサポートします。
埋め込み: 埋め込みモデルのルーティングと翻訳を提供します。
テキスト補完: 標準的なテキスト補完エンドポイントをサポートします。
OpenAI 応答 API: OpenAI 風の応答オブジェクトとの互換性を維持します。

削除された機能

ミニマリストなサイズを実現するために、Litelm は LiteLLM に存在するいくつかの高レベルな管理機能を削除しています：

ルータークラス: 内蔵されたロードバランシングや自動フォールバック機能なし。
プロキシサーバー: 組み込みのプロキシ機能なし。
キャッシュと予算管理: 内蔵キャッシュ、コスト追跡、支出管理なし。
トークンカウンティング: 内蔵トークンカウンティングユーティリティなし。
高度なモダリティ: 画像生成、音声、OCR、ファインチューニングのサポートなし。
エージェントとガードレール: 組み込みエージェントフレームワーク、スケジューラ、ガードレールなし。

プロバイダー対応と統合

Litelm は provider/model-name 構文を使用して 19 のプロバイダーをサポートしています。また、api_base パラメータを介して OpenAI 互換エンドポイントもサポートしています。

プロバイダー	環境変数	ハンドラータイプ
OpenAI	`OPENAI_API_KEY`	OpenAI SDK
Anthropic	`ANTHROPIC_API_KEY`	カスタム
Groq	`GROQ_API_KEY`	OpenAI互換
Mistral	`MISTRAL_API_KEY`	カスタム
xAI	`XAI_API_KEY`	OpenAI互換
OpenRouter	`OPENROUTER_API_KEY`	OpenAI互換
Azure	`AZURE_API_KEY`	OpenAI SDK (Azure)
Bedrock	`AWS_ACCESS_KEY_ID`	カスタム
Cloudflare	`CLOUDFLARE_API_TOKEN`	カスタム
Together	`TOGETHERAI_API_KEY`	OpenAI互換
Fireworks	`FIREWORKS_API_KEY`	OpenAI互換
DeepSeek	`DEEPSEEK_API_KEY`	OpenAI互換
Perplexity	`PERPLEXITYAI_API_KEY`	OpenAI互換
DeepInfra	`DEEPINFRA_API_TOKEN`	OpenAI互換
Gemini	`GEMINI_API_KEY`	OpenAI互換
Cohere	`COHERE_API_KEY`	OpenAI互換
Ollama	N/A	OpenAI互換
vLLM	N/A	OpenAI互換
LM Studio	N/A	OpenAI互換

技術的実装と状態

Litelm は現在 アルファ バージョンです。プロジェクトのメンテナが DSPy へのドロップイン置き換えとして検証済みであり、すべての 7 つの実行パス（Predict、CoT、型付きシグネチャ、ストリーミング、埋め込み、ツール使用、マルチ出力）が正常に動作していることが確認されています。

開発手法

このソフトウェアは、人間と AI のハイブリッドアプローチで開発されました。2026 年 5 月 14 日以前に書かれたコードは Claude Code（Claude Opus 4.6/4.7）の支援を受けており、その後のコードは Pi を使って GPT-5.5 によって記述されました。メンテナは、上流の LiteLLM プロジェクトから 360 件のコアパスコミットを手動で監査し、互換性を確認しました。

エラーハンドリング

Litelm はプロバイダー固有のエラーを標準化された例外階層にマッピングしており、ContextWindowExceededError、RateLimitError、AuthenticationError などが含まれます。

コミュニティのフィードバックと見解

Hacker News 上のコミュニティディスカッションでは、ミニマリズムを重視する人々と、Litelm が削除した「ボリューム」に依存する人々の間で意見の分かれが見られます。

"多くの削除された機能（コスト追跡、ストリーミング、キャッシュなど）は、多くのユーザーにとって LiteLLM のコア価値提案そのものだった。"

他のユーザーは、依存関係に関する技術的懸念を指摘し、httpx から httpx2 への移行を推奨しています。これはメンテナンス上の懸念があるためです。

一部の開発者は、フロンティア LLM の登場により、カスタムルーターを作成することは非常に簡単な作業であると主張し、AI コーディングツールが独自のクライアントを書くことを容易にしているため、このようなライブラリの必要性が低下していると述べています。

"これはフロンティア LLM で 30 分のプロジェクトです。誰も他の誰かのルーターを使う理由がわかりません。"

最後に、一部のユーザーは AI プロバイダー間の高い相互運用性に称賛を送り、"OpenAI互換" 標準が業界全体で成功した API 相互運用性の稀な例であると指摘しています。