HotRiceNoodles/CrossLink

解決する課題

CrossLink は、複数の AI モデルに単一のエンドポイントを提供することで、プロバイダーロックインを排除するユニバーサル LLM API ゲートウェイです。これは、LLM プロバイダーごとに異なる API 形式、認証方法、機能セットに対して個別の統合コードを書かなければならないという問題を解決します。

仕組み

アプリケーションとさまざまな LLM プロバイダー（OpenAI、Anthropic、Azure、DeepSeek、Ollama など）の間のプロキシとして機能します。ゲートウェイは双方向プロトコル変換を実行し、OpenAI 形式と Anthropic 形式の間でリクエストとストリーミングレスポンスをリアルタイムに変換します。重み付きランダムや最小レイテンシなどの戦略に基づいてトラフィックを分散するルーティングエンジンと、一時的な障害と永続的な障害を区別してフェイルオーバーをインテリジェントに管理するエラー分類システムが含まれています。

対象読者

複数の LLM プロバイダーを使用し、統一されたインターフェース、回復力のあるルーティング、コスト・セキュリティ・ツールアクセスの集中管理を望む開発者と組織。

ハイライト

• 双方向ストリーミング変換: ステートマシンを使用して、OpenAI、Anthropic、Responses API 間でストリーミング SSE を変換します。
• エラー分類フェイルオーバー: DB バックアップのルールテーブルを使用して、割り当て/課金エラーとレート制限を区別し、盲目的な再試行を防ぎます。
• MCP ゲートウェイ: ツールごとの RBAC と暗号化された資格情報を備えた Model Context Protocol を実装します。
• プラグ可能なガードレール: カスタムエンジン（キーワードフィルター、資格情報検出など）を介してコンテンツをブロック、ログ、またはマスクするためのレジストリ。
• 可観測性: 詳細なルーティング統計、トークン使用分析、x-crosslink-fallback-* 応答ヘッダーを提供します。
• コンプライアンス対応: 中国国家暗号アルゴリズム（SM2/SM3/SM4）とエアギャップ環境をサポートします。