higress-group/himarket

解決的問題

HiMarket 是為那些面臨 AI 模型使用分散、不受控的公開模型存取所帶來的安全風險，以及難以追蹤 AI 成本與 SLA 的企業所設計。它提供一個統一入口，用於在整個組織內管理與分發 AI 資源，透過標準化市場平台連接 AI 生產者與消費者。

運作方式

基於 Higress AI 網關建構，HiMarket 將 LLM、MCP 伺服器、Agent 和 Agent 技能等 AI 能力組織為標準化 API 產品。採用三層架構：

1. 基礎設施：利用 AI/API 網關（Higress、Nacos）將 AI 資源封裝為 API。
2. 管理儀表板：允許管理員管理資源、設定驗證策略，並透過可觀測性儀表板監控使用狀況。
3. 開發者儀表板：一個自助服務中心，開發者可瀏覽、訂閱與除錯 AI 產品，或使用整合工具如 HiChat（對話/測試）與 HiCoding（在安全沙盒中進行 AI 輔助程式設計）。

適用對象

需要在組織內部以集中化、安全且可觀測方式共享與重用 AI 能力的企業 AI 管理員與開發者。

核心亮點

• 多資源市場：為模型、MCP 伺服器、Agent 和 Agent 技能分別設立專用市場。
• 企業級管理：包含基於 Token 的計量與計費、全鏈路監控以及灰階發佈管理。
• AI 體驗中心：提供 HiChat 用於多模型對比，HiCoding 用於人機協同開發。
• 可客製化：支援 OIDC 身份整合、自訂品牌與可配置的訂閱審核流程。