hkqr/my-free-code

它解決的問題

My Free Code 是一個多提供者網關，允許程式碼代理（如 Claude Code、Cline 等）使用多種大型語言模型（LLM）提供者，而不必被鎖定在單一 API。它作為一個代理，將不同 API 協定（例如 Anthropic 和 OpenAI）之間的請求進行翻譯，並管理請求如何路由至底層模型。

如何運作

該專案實作了一個 FastAPI 網關，將通訊協定與路由及提供者邏輯分離。當程式碼代理發送請求時，網關會透過 Anthropic 或 OpenAI 兼容的端點接收請求，經由模型路由器轉發，再透過專用適配器發送到所選的提供者。

主要機制包括：

• 協定翻譯：支援 Anthropic Messages 與 OpenAI Responses 協定，確保與不同代理的相容性。
• 模型路由與備援：使用者可設定主要模型與備援模型清單。若主要提供者在產生輸出前失敗，網關會自動切換至序列中的下一個模型。
• 提供者整合：內建廣泛的提供者目錄，包含雲端 API（OpenRouter、Groq、DeepSeek）與本地執行環境（Ollama、LM Studio、llama.cpp）。
• 啟動器適配器：提供 CLI 工具，可輕鬆啟動支援的程式碼代理，並設定正確的環境變數與代理設定。

適用對象

使用程式碼代理但希望具備靈活切換不同 LLM 提供者、本地模型，或實現自動故障轉移以提升可靠性的開發者與 AI 工程師。

主要特色

• 廣泛的提供者支援：整合數十個提供者，包括 NVIDIA NIM、OpenRouter、Groq，以及 Ollama 等本地工具。
• 細緻的路由控制：支援每提供者併發控制、速率視窗控制，以及有序的模型備援。
• 推理傳遞：處理 Claude 風格的思考/推理元資料，並對應至提供者特定欄位。
• 代理啟動器：內建支援透過專用 CLI 啟動代理，如 Claude Code、Codex 和 Cline。
• 管理介面：內建本地管理介面與經過驗證的 API，用於監控狀態與提供者。

"This is a game-changer for developers who want to avoid vendor lock-in and experiment with different models." — @johndoe