iimeta/fastapi

解決的問題

本專案提供一個統一的 API 網關，用於整合多個大型語言模型（LLM）供應商。它消除了開發者為每個不同的 AI 模型供應商撰寫獨立整合邏輯的需求，透過單一 API 標準即可存取各種模型，從而降低開發與維護成本。

運作方式

該系統作為代理層，支援多種供應商，包括 DeepSeek、OpenAI、Azure、Gemini、Anthropic Claude 以及多個中國 LLM 供應商（如 Qwen、Ernie Bot 和 Zhipu GLM）。它提供 OpenAI 相容的 API 接口，讓使用者只需整合一次，即可無縫切換不同模型。

適用對象

需要將多個 LLM 集成至業務系統中，但又無需管理各供應商複雜且各異的 API 的開發者與企業。

主要亮點

• 廣泛的供應商支援：支援全球與區域性的多種 LLM 供應商。
• OpenAI 相容：基於 OpenAI 格式使用統一的 API 標準。
• Docker 支援：支援透過 Docker 一鍵部署，以及叢集與多區域部署。
• 完整的生態系統：包含獨立的 Web 界面、管理面板與 SDK，實現全面的管理。