tashfeenahmed/freellmapi

解決的問題

FreeLLMAPI 提供一個統一的 OpenAI 兼容端點，聚合多個免費 Tier LLM 供應商。它消除了手動管理數十種不同 SDK、速率限制和 API 金鑰的需要，讓使用者能整合來自不同 AI 實驗室的免費配額，建立大規模的推論容量。

工作原理

此專案作為一個本地路由器，位於您的 AI 應用程式與各種 LLM 供應商之間。您將供應商金鑰加入路由器，它會公開單一的 /v1 API。它會自動處理路由、在被限流時切換到下一個可用模型，並追蹤每個金鑰的使用情況，以確保不超出免費 Tier 的上限。路由器也會從中央資料源同步經過簽署的模型目錄，以即時跟進供應商提供的模型與配額變更。

適用對象

希望在不重複設定與複雜管理多個 API 金鑰與速率限制的情況下，使用多種免費 LLM 模型的開發者與 AI 愛好者。

主要亮點

• 統一 API：支援 /v1/chat/completions、/v1/embeddings 以及媒體生成端點（影像、影片、音訊）。
• 智能路由：提供六種路由策略，具備自動故障轉移與金鑰輪替功能，以最大化可用性。
• 多模型合成（融合）：可將提示並行分發到多個免費模型，並使用判斷模型合成最終答案。
• 廣泛相容性：相容任何 OpenAI 兼容客戶端，包括 Claude Code、Aider 和 Cursor 等程式碼代理。
• 本地優先安全：供應商金鑰在本地 SQLite 資料庫中以 AES-256-GCM 加密儲存。
• 自動更新目錄：無需手動更新，即可自動同步模型清單與配額資訊。
• 管理儀表板：包含 React UI，可用於管理金鑰、監控分析資料，並在沙盒環境中測試模型。