HotRiceNoodles/CrossLink

何を解決するか

CrossLink は、複数のAIモデル用の単一エンドポイントを提供することで、プロバイダーに縛られないユニバーサルLLM APIゲートウェイです。OpenAI、Anthropic、Azure、DeepSeek、Ollamaなど、異なるプロバイダー間で異なるAPIフォーマット、認証方法、機能セットを管理する問題を解決します。

動作方法

双方向プロトコル変換器およびプロキシとして機能します。アプリケーションはOpenAIまたはAnthropic形式でリクエストを送信し、CrossLinkは状態機械を使用してリアルタイムでリクエストとストリーミングレスポンス（SSE）を翻訳します。6種類のルーティング戦略（重み付きランダムや最小レイテンシなど）を管理し、一時的なエラー（レート制限など）と恒久的なエラー（課金問題など）を区別するエラー分類型フェイルオーバーシステムを実装することで、よりスマートな再試行を可能にします。

対象ユーザー

複数のLLMプロバイダーを使用し、統一インターフェース、レジリエンスルーティング、コスト、セキュリティ、ツールアクセスの集中管理を望む開発者および組織。

主な特徴

• 双方向ストリーミング翻訳: OpenAI、Anthropic、Responses APIフォーマット間のリアルタイム変換を実現。思考ブロックやツール引数のサポートも含む。
• エラー分類型フェイルオーバー: DBバックエンドのルールテーブルを使用して、失敗を分類し「盲目的な再試行」を防止。
• MCPゲートウェイ: ツールごとのRBAC、ツール発見、暗号化された資格情報を持つModel Context Protocolゲートウェイ。
• プラグイン可能なガードレール: コンテンツセーフティエンジンのレジストリ。レスポンスのブロッキング、ログ記録、マスキングが可能。
• ルーティングの透明性: レスポンスヘッダーとルーティング分布APIを通じた詳細な観測性。
• コンプライアンス対応: 中国国家暗号（SM2/SM3/SM4）とオフラインデプロイメントをサポート。
• 管理者ダッシュボード: Vue 3で構築されたWeb UI。プロバイダー、モデル、APIキー、使用状況分析の管理が可能。