tashfeenahmed/freellmapi

解决的问题

FreeLLMAPI 提供一个统一的、OpenAI 兼容的 API 端点，聚合数十个 AI 提供商的多个免费额度。它消除了手动管理多个 SDK、API 密钥和速率限制的需求，让用户能够访问庞大的免费推理容量池（每月最高 74 亿个 token），涵盖数百个模型家族。

工作原理

该项目作为一个本地路由器，位于您的 AI 应用程序与各种 LLM 提供商之间。您将提供商密钥添加到路由器的加密 SQLite 数据库中，路由器负责请求路由、在速率受限时自动故障转移到下一个可用模型，以及按密钥跟踪速率以保持在免费额度上限内。它还会从中央源同步一份签名的模型目录，以跟上免费额度生态的变化。

适用对象

希望最大化使用免费 LLM 额度，但不想管理多个账户和提供商的开发者和 AI 爱好者，以及想要为其编码代理或 AI 客户端提供单一端点的人。

亮点

• 统一的 OpenAI 兼容接口：支持聊天、嵌入、图像、视频和音频端点。
• 智能路由与故障转移：六种路由策略，针对 429/5xx 错误自动重试和冷却。
• 融合（多模型合成）：一个虚拟模型，并行提示多个免费模型，并使用评判模型合成最终答案。
• 广泛兼容性：可与 Claude Code、Cursor、Aider 及其他 OpenAI 兼容客户端搭配使用，并包含一个适用于 ChatGPT 的 MCP 服务器。
• 本地优先且安全：提供商密钥在静态时以 AES-256-GCM 加密，并在每次请求时于内存中解密。
• 自动更新目录：自动同步新模型和配额变更，无需手动更新。
• 桌面应用：适用于 macOS 和 Windows 的原生菜单栏应用，方便本地管理。