LLM Gateway – 大規模言語モデルのための統合 API レイヤー

概要

• アプリケーションと複数の LLM プロバイダー（OpenAI、Anthropic、Google Vertex AI など）の間に位置するオープンソースのミドルウェア。
• OpenAI のチャット補完エンドポイントを模倣した単一の API を公開するため、クライアントコードを変更せずにプロバイダーを切り替えられます。

主な機能

• 統合 API – 1 つのエンドポイント（/v1/chat/completions）が設定済みのすべてのプロバイダーで機能します。
• マルチプロバイダールーティング – リクエストごとにターゲットモデルを選択するか、ゲートウェイがプロバイダー間でトラフィックを分散させます。
• 集中キー管理 – すべてのプロバイダーの API キーを 1 か所に保存し、シークレットで保護します。
• 使用状況分析 – トークン数、応答時間、リクエストごとのコストを記録。予算管理やパフォーマンスチューニングに役立ちます。
• パフォーマンス監視 – 異なるモデルのレイテンシと価格を並べて比較できます。
• エンタープライズ拡張（ee/ フォルダ内）– 請求、完全なペイロード保持、組織管理など。商用ライセンスの下で提供されます。

実行方法

• ホスト型 SaaS – https://llmgateway.io でサインアップし、API キーを取得してリクエストを送信します。
• セルフホスト – Docker ベースのスタックを自分でデプロイします。README には 2 つのパターンがあります：
  1. 提供された run-unified-container.sh スクリプトを生成されたシークレットとともに使用します。
  2. 単一の docker run コマンドを実行し、PostgreSQL と Redis 用の名前付きボリュームをマウントし、ゲートウェイのポート（3002‑3007、4001‑4002）を公開します。
• 開発ワークフロー：pnpm i && pnpm run setup で依存関係をインストールし、コンテナを起動し、DB をシードします。pnpm dev でサービスを起動。pnpm build で本番ビルド。

プロジェクト構成

• apps/ – 複数の Next.js フロントエンド（ダッシュボード、プレイグラウンド、プロバイダーポータル）と Hono バックエンド。
• apps/gateway – 実際のリクエストルーティングサービス。
• packages/ – 共有コード：データベーススキーマ（drizzle）、モデル/プロバイダー定義、ユーティリティ。
• ee/ – エンタープライズ専用の管理 UI と機能。商用ライセンスで制限されています。

対象ユーザー

• LLM を呼び出す必要があるが、ベンダーロックインを避けたいチーム。
• 複数のプロバイダーにわたる LLM 支出を監視・制御する必要がある企業。
• OpenAI API のように動作するローカルテスト環境で代替モデルを試したい開発者。

ライセンス

• コアコード：AGPL‑v3（オープンソース。変更版のソースコード配布が必要）。
• エンタープライズアドオン：プロプライエタリライセンス。商用利用には別途契約が必要です。

---

すべての詳細はリポジトリの README から直接取得しています。