looplj/axonhub

AxonHub – 一體化 AI 開發平台

是什麼 – AxonHub 是用 Go 編寫的自托管網關，位於您的應用程式碼與任何大型語言模型（LLM）供應商之間。您可繼續使用相同的 SDK（例如 OpenAI 的 Python 客戶端），僅需變更設定檔即可在 OpenAI、Anthropic、Gemini 等不同模型供應商之間切換，無需修改程式碼。

核心功能

功能	你能獲得什麼
任意 SDK → 任意模型	使用 OpenAI、Anthropic 或其他 SDK，請求將自動轉換為所選供應商的 API 格式。無需修改程式碼。
完整請求追蹤	線程級日誌顯示每次呼叫的完整時間軸，讓除錯快速高效。
企業級 RBAC	細粒度權限、使用配額與團隊間資料隔離。
智慧負載平衡與故障轉移	<100ms 的路由決策；當某個供應商效能下降時，自動切換至最健康的通道。
即時成本追蹤	每個請求的 token 級成本分解（輸入、輸出、快取），並用於預算匯總。
多模態 API	支援文字生成、影像生成、嵌入、重排序，以及（規劃中）即時聊天。
支援的供應商	OpenAI、Anthropic、智譜（GLM）、Moonshot、DeepSeek、字節跳動 Doubao、Gemini、Jina AI、OpenRouter、AWS Bedrock（測試中）、Google Cloud（測試中）、NanoGPT 等。

運作方式 – AxonHub 提供一組模仿 OpenAI API 結構的 REST/GraphQL 端點。當請求到達時，AxonHub 執行以下步驟：

1. 透過 AxonHub API 金鑰驗證呼叫者。
2. 查詢目標供應商/通道（使用其自身的 API 金鑰設定）。
3. 將請求內容轉換為供應商的原生格式。
4. 發送請求，記錄延遲、token 使用量與成本，並以原始 OpenAI 風格的結構回傳響應。

快速開始（部署後）

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:8090/v1",  # AxonHub 位址
    api_key="your-axonhub-api-key"
)

resp = client.chat.completions.create(
    model="gpt-4o",                     # 任何已啟用的模型名稱
    messages=[{"role": "user", "content": "Hello, AxonHub!"}]
)
print(resp.choices[0].message.content)

後續若將通道切換至 Claude、Gemini 或中文語言模型，相同的程式碼依然有效——僅需變更 AxonHub 設定即可。

典型使用情境

• 避免供應商鎖定 – 無需重寫客戶端程式碼即可在不同供應商之間測試或遷移。
• 成本優化 – 為低優先度任務路由低成本模型，同時為關鍵查詢保留高階模型。
• 可觀測性與治理 – 集中日誌、團隊級配額與成本儀表板，便於合規團隊管理。
• 多模態應用 – 在單一端點後整合文字、影像、嵌入與重排序 API。

部署 – 項目提供 Docker 鏡像（docker-ready 標籤），可在任何支援 Go 的主機上執行。README 提供 Render.com 上的示範實例連結，並附上 deploy-axonhub 技能以實現自動化部署。

文件與社群 – 完整的中英文文件、API 參考、追蹤、權限、負載平衡與成本追蹤指南均托管於倉儲與 DeepWiki 網站。專案採用 Apache-2.0/LGPL-3.0 雙重開源授權。

---

總結 – AxonHub 是一個實用且可投入生產的網關，抽象了 LLM 供應商之間的差異，為所有 AI 模型提供單一、可觀測的 API 表面。