HotRiceNoodles/CrossLink

解決的問題

CrossLink 是一個統一的 LLM API 網關，透過提供多個 AI 模型的單一端點，消除供應商鎖定問題。它解決了在 OpenAI、Anthropic、Azure、DeepSeek 和 Ollama 等不同供應商之間管理異質的 API 格式、驗證方式與功能集的問題。

工作原理

它作為雙向協定轉譯器與代理運作。您的應用程式可使用 OpenAI 或 Anthropic 格式發送請求，CrossLink 會使用狀態機即時將這些請求與串流回應（SSE）進行轉譯。它支援六種不同的路由策略（如加權隨機或最低延遲），並實作錯誤分類故障轉移系統，能區分暫時性錯誤（如速率限制）與永久性錯誤（如帳單問題），以確保更智慧的重試。

適用對象

使用多個 LLM 供應商，並希望獲得統一介面、彈性路由，以及對成本、安全性與工具存取進行集中控制的開發者與組織。

主要亮點

• 雙向串流轉譯：即時轉換 OpenAI、Anthropic 與 Responses API 格式，支援思考區塊與工具參數。
• 錯誤分類故障轉移：使用資料庫支援的規則表，透過分類失敗來防止「盲目重試」。
• MCP 網關：具備工具級 RBAC、工具發現與加密憑證的 Model Context Protocol 網關。
• 可插入的防護機制：內容安全引擎註冊表，可阻擋、記錄或隱藏回應。
• 路由透明性：透過回應標頭與路由分佈 API 提供詳細的可觀測性。
• 合規就緒：支援中國國家密碼（SM2/SM3/SM4）與離線部署。
• 管理儀表板：基於 Vue 3 的 Web UI，可用於管理供應商、模型、API 金鑰與使用分析。