hkqr/my-free-code

它解决了什么问题

My Free Code 是一个支持多提供商的网关，允许编码代理（如 Claude Code、Cline 等）使用多种大语言模型提供商，而无需被锁定在单一 API 上。它作为一个代理，将不同 API 协议（如 Anthropic 和 OpenAI）之间的请求进行转换，并管理请求如何路由到底层模型。

它如何工作

该项目实现了一个 FastAPI 网关，将网络协议与路由和提供商逻辑分离。当编码代理发送请求时，网关通过 Anthropic 或 OpenAI 兼容的端点接收请求，将其路由至模型路由器，然后通过专用适配器发送到选定的提供商。

关键机制包括：

• 协议转换：支持 Anthropic Messages 和 OpenAI Responses 协议，以确保与不同代理的兼容性。
• 模型路由与降级：用户可以配置主模型和降级模型列表。如果主提供商在生成输出前失败，网关会自动切换到序列中的下一个模型。
• 提供商集成：包含广泛的提供商目录，包括云 API（OpenRouter、Groq、DeepSeek）和本地运行时（Ollama、LM Studio、llama.cpp）。
• 启动器适配器：提供一个 CLI 工具，可轻松启动受支持的编码代理，并配置正确的环境变量和代理设置。

适合谁使用

使用编码代理但希望灵活选择不同 LLM 提供商、本地模型，或实现自动故障转移以提高可靠性的开发者和 AI 工程师。

主要亮点

• 广泛的提供商支持：集成数十个提供商，包括 NVIDIA NIM、OpenRouter、Groq 以及 Ollama 等本地工具。
• 精细的路由控制：支持按提供商的并发控制、速率窗口控制和有序模型降级。
• 推理透传：处理 Claude 风格的思考/推理元数据，并将其映射到提供商特定的字段。
• 代理启动器：内置对 Claude Code、Codex 和 Cline 等代理的 CLI 启动支持。
• 管理界面：包含本地管理界面和经过身份验证的 API，用于监控状态和提供商。