atopos31/llmio

Unified LLM gateway with weighted load balancing, observability & cost tracking. 统一的 LLM 网关，提供权重负载均衡、可观测性与费用追踪。

解決する課題

LLMIOは、複数のLLMプロバイダー（OpenAI、Anthropic、Geminiなど）を管理するための集中型ゲートウェイとして機能します。統一されたRESTインターフェースを提供することで、異なるAPIを統合する複雑さを解消し、開発者がモデル間でリクエストをルーティングしたり、クォータを管理したり、単一のサービスを通じて使用状況を監視したりできるようにします。

仕組み

Goで構築されたこのプロジェクトは、負荷分散プロキシとして機能します。異なるLLMプロトコル間での変換（例：AnthropicのメッセージをOpenAI形式に変換）を行い、加重リクエストスケジューリングを処理し、カスタムヘッダーやセッションキーを管理して様々なクライアントとの互換性を確保します。監視、ログ検査、および時間帯別価格設定やデータベースメンテナンスなどの高度な機能の設定を行うためのReactベースの管理UIが含まれています。

対象ユーザー

複数のLLM統合を管理する必要がある、コスト追跡を実装したい、あるいは異なるAIモデルプロバイダー間での負荷分散と可観測性を処理するための堅牢なセルフホスト型プロキシを必要とする開発者やチーム。

ハイライト

  • 統一API: 異なるプロバイダーのプロトコルを単一の一貫したインターフェースに標準化します。
  • 高度なルーティング: 加重スケジューリングとプロバイダー間の自動プロトコル変換をサポートします。
  • 可観測性: 詳細な使用状況分析、レイテンシ追跡、およびセッション比較ツールを備えたリクエストログ記録を提供します。
  • 効率的なストレージ: コンテンツ定義チャンクとグローバル重複排除を使用して、SQLite内のリクエストログのストレージフットプリントを大幅に削減します。
  • 運用制御: サーキットブレーカー、レート制限、およびスペース再利用のための高度なデータベースメンテナンスツールが組み込まれています。

関連

  • プロジェクト
    theopenco/llmgateway

    LLM Gateway は、単一の OpenAI 互換エンドポイントを通じて複数の LLM プロバイダーを呼び出せるオープンソースの API レイヤーで、キー管理、コスト追跡、パフォーマンス監視を内蔵しています。ホスト型 SaaS として利用するか、Docker でセルフホストできます。

  • プロジェクト
    yym68686/uni-api

    uni‑apiは、オープンソースのDockerベースのゲートウェイで、単一のOpenAI互換APIを公開しながら、リクエストを多数の異なるLLMバックエンド（OpenAI、Anthropic、Gemini、Vertex、Azure、AWSなど）にルーティングできます。YAMLのみの設定、重み付け/ラウンドロビンのロードバランシング、自動リトライ、モデルごとのタイムアウト、レート制限、モデレーション、ツール/画像サポートを提供します。

  • プロジェクト
    ENTERPILOT/GoModel

    GoModelは、Goで書かれたオープンソースのAIゲートウェイで、多数のLLMプロバイダーに対して単一のOpenAI互換エンドポイントを提供します。キャッシュ、コスト追跡、予算、レート制限、フェイルオーバー、可観測性（Prometheus/OpenTelemetry）、Webダッシュボード、拡張可能なプラグインを追加し、既存のSDKを変更せずにコストと信頼性を管理するチームを支援します。

  • プロジェクト
    tbphp/gpt-load

    GPT-Loadは、多くのLLM APIのための単一のセルフホスト型ゲートウェイとして機能するオープンソースのGoサービスです。複数のプロバイダーを構成し、APIキーを管理し、トラフィックをスケジュールし、リトライを処理し、統合されたログとコストダッシュボードを表示できます。すべて、使い慣れたOpenAI互換のHTTPインターフェースの背後で実現されます。

  • プロジェクト
    router-for-me/CLIProxyAPI

    CLI Proxy API は、多くの LLM プロバイダー（OpenAI、Gemini、Claude、Grok、Kimi、Meta など）に対して統一された OpenAI 互換 API を提供するオープンソースのプロキシサーバーです。OAuth ログイン、複数アカウントの負荷分散、ストリーミング、関数呼び出し、マルチモーダル入力を処理し、使用量とコスト追跡のためのオプションのダッシュボードを提供します。複数の AI サブスクリプションを持ち、CLI ツール用に単一のローカルエンドポイントを希望する開発者に最適です。