yym68686/uni-api

解決的問題

uni-api 是一個輕量級、基於設定的 API 網關，可將多個大型語言模型（LLM）提供者整合至單一 OpenAI 兼容介面。它消除了大型 API 管理工具中複雜的前端與商業功能，讓個人使用者能透過單一端點更輕鬆地管理與呼叫各種後端服務。

如何運作

使用者透過 YAML 檔案（api.yaml）設定其 API 通道。系統隨後會將這些多樣的後端服務（例如 OpenAI、Anthropic、Gemini、Vertex AI、Azure、AWS 等）轉換為統一的 OpenAI 格式。它支援進階的請求路由功能，包括負載平衡（加權、順序或輪詢）、自動重試，以及「冷卻」機制，可暫時停用失敗的通道。

適用對象

專為希望擁有簡單、無前端 API 站台，以整合多個 LLM 金鑰與提供者，且不需複雜管理介面的個人與開發者設計。

主要特色

• 廣泛的提供者支援：整合 OpenAI、Anthropic、Gemini、Vertex、Azure、AWS、xAI、Cohere、Groq、Cloudflare 與 OpenRouter。
• OpenAI 兼容性：將多個後端服務轉換為標準的 OpenAI 格式介面（例如 /v1/chat/completions、/v1/embeddings）。
• 原生功能支援：支援主要提供者原生的工具使用（函式呼叫）與影像辨識功能。
• 智慧路由：具備通道層級的加權負載平衡、自動重試，以及失敗時的自動通道冷卻功能。
• 細緻控制：提供模型特定的逾時設定、速率限制（每分鐘/小時/天/月/年），以及基於萬用字元的 API 金鑰權限控制。
• 安全性：內建 OpenAI 道德審查機制，降低後端 API 被封鎖的風險。