atopos31/llmio

何を解決するか

LLMIO は複数の LLM プロバイダーの管理を簡素化するロードバランシングゲートウェイです。OpenAI、Anthropic、Gemini などの異なる API をクライアントアプリケーションに統合する必要をなくし、単一の統合 REST API を提供します。また、信頼性の低いプロバイダー接続や、異なるモデルエンドポイント間での不均等な負荷配分という問題も解決します。

動作方法

このシステムは LLM クライアントとさまざまな AI プロバイダーの間のプロキシとして機能します。Go で構築されたバックエンドと SQLite データベース（設定およびログ用）を使用しています。リクエストを、ツール呼び出しやマルチモーダル対応といった特定の機能に基づいてルーティングするための、2 種類の重み付きスケジューリング戦略（重みによるランダム、重みによる優先順位）を提供します。障害を隔離するための組み込みのレート制限フォールバックと接続性チェックも備えています。

対象ユーザー

複数の LLM プロバイダーを使用し、さまざまなモデルや API 間でルーティング、監視、コスト追跡を中央集権的に管理したい開発者やチームです。

主な特徴

• 統合 API: OpenAI、Anthropic、Gemini のネイティブフォーマットに加え、互換性のある汎用エンドポイントもサポート。
• 重み付きスケジューリング: 機能（例：構造化出力、ツール呼び出し）に基づいてリクエストをルーティング。
• 監視性: TraceID、レイテンシ分解、トークン使用量、および設定可能な価格に基づくリクエストごとのコスト計算を含む詳細なリクエストログ。
• 管理 UI: プロバイダー、モデル、メトリクスの管理に使えるモダンな React ベースのコンソール。
• セッション追跡: session_id を使ってログにタグを付け、フィルタリング可能。デバッグの向上と完全な IO ログのトレースが可能。
• ローカル永続化: オールインワンで利用可能な純粋な Go SQLite 実装を使用。