tashfeenahmed/freellmapi

解决的问题

FreeLLMAPI 提供一个统一的 OpenAI 兼容端点，聚合多个免费 Tier LLM 服务商。它消除了手动管理数十种不同 SDK、速率限制和 API 密钥的需要，使用户能够整合来自不同 AI 实验室的免费配额，构建大规模的推理容量。

工作原理

该项目作为一个本地路由器，位于您的 AI 应用程序与各种 LLM 服务商之间。您将服务商密钥添加到路由器中，它会暴露一个单一的 /v1 API。它会自动处理路由、在被限流时切换到下一个可用模型，并跟踪每个密钥的使用情况，以确保不超出免费 Tier 的上限。路由器还会从中央数据源同步经过签名的模型目录，以及时跟进服务商提供的模型和配额变化。

适用人群

希望在不重复设置和复杂管理多个 API 密钥与速率限制的情况下，使用多种免费 LLM 模型的开发者和 AI 爱好者。

主要亮点

• 统一 API：支持 /v1/chat/completions、/v1/embeddings 以及媒体生成端点（图像、视频、音频）。
• 智能路由：提供六种路由策略，具备自动故障转移和密钥轮换功能，以最大化可用性。
• 多模型合成（融合）：可将提示并行分发到多个免费模型，并使用判断模型合成最终答案。
• 广泛兼容性：兼容任何 OpenAI 兼容客户端，包括 Claude Code、Aider 和 Cursor 等编程代理。
• 本地优先安全：提供商密钥在本地 SQLite 数据库中以 AES-256-GCM 加密存储。
• 自动更新目录：无需手动更新，即可自动同步模型列表和配额信息。
• 管理仪表板：包含 React UI，用于管理密钥、监控分析数据，并在沙盒环境中测试模型。