tbphp/gpt-load

What it solves

GPT-Load 是一个高效率能的透明代理服務，專為需要管理與整合多個 AI 服務的企業與開發者設計。它解決了在不同提供商（如 OpenAI, Gemini, 和 Claude）之間管理大量 API keys 的問題，並透過負載平衡與自動故障恢復來確保服務可用性。

How it works

使用 Go 語言開發，該服務作為使用者與 AI 提供商之間的閘道器。它保留了原生 API 格式，因此現有的整合方式不需要進行更改。它管理一個 API keys 集合，並使用加權負載平衡來分發請求。如果某個 key 失敗了，系統會自動將其列入黑名單，並嘗試輪替使用不同的 key 以確保請求成功。

Who it’s for

• Enterprises 需求高併發生產環境與水平擴展。
• Developers 想要在不更改應用程式程式碼的情況下，以統一的方式管理多個 AI API keys。
• AI Teams 需要即時監控、健康檢查與詳細的請求日誌。

Highlights

• Transparent Proxying: 支援原生 OpenAI, Google Gemini, 和 Anthropic Claude 格式。
• Intelligent Key Management: 具備自動輪替、故障恢復與基於群組的管理功能。
• Enterprise Architecture: 支援分佈式主從式部署，以實現高可用性。
• High Performance: 利用 zero-copy streaming 與連接池重用來提升效率。 n- Management Interface: 包含一個基於 Vue 3 的網頁 UI，用於直觀的配置與監控。