bestruirui/octopus
One Hub All LLMs For You | 为个人打造的 LLM API 聚合网关
解决的问题
Octopus 是一个为使用多个 AI 提供商的个人设计的 LLM API 聚合服务。它消除了管理多个 API 密钥和不同 API 格式的需求，提供统一的接口来访问各种模型，同时通过自动故障转移确保高可用性。
工作原理
该服务充当客户端与多个 LLM 提供商之间的代理。它在 OpenAI、Anthropic 和 Gemini 格式之间进行协议转换，并将多个提供商通道聚合为“组”（统一的模型名称）。它还通过从 models.dev 等外部来源同步定价数据，跟踪令牌消耗和成本。
适用人群
- 在不同提供商之间管理多个 LLM API 密钥的个人。
- 希望为其 AI 代理或应用程序获得单一稳定端点的开发者。
- 希望跟踪跨不同渠道的总 AI 支出的用户。
主要亮点
- 多通道聚合：在一个地方连接并管理多个 LLM 提供商。
- 协议转换：无缝切换 OpenAI 和 Anthropic API 格式。
- 自动故障转移：如果上游提供商出现故障，自动切换到可用通道。
- 实时可视化：在前端查看从客户端到提供商的完整请求路径。
- 轻量级部署：以单个二进制文件部署，支持 SQLite、MySQL 和 PostgreSQL。
相关
- 项目
theopenco/llmgatewayLLM Gateway 是一个开源 API 网关，提供单一 OpenAI 兼容端点，用于将请求路由到多个 LLM 提供商，集中管理 API 密钥，并提供内置的使用量和性能分析。可作为托管 SaaS 服务使用，或通过 Docker 自托管。
- 项目
atopos31/llmio一个基于 Go 的 LLM 负载均衡网关，为多个 AI 提供商提供统一的 REST API、加权调度和详细的可观测性。
- 项目
yym68686/uni-apiuni‑api 是一个仅通过配置运行的服务器，提供单一 OpenAI 兼容 API，同时将请求路由到多个 LLM 提供商（OpenAI、Anthropic、Gemini、Vertex、Azure、AWS 等）。支持加权和轮询负载均衡、自动重试、每模型超时、速率限制、工具调用透传、内容审核以及细粒度请求覆盖——所有配置均通过 `api.yaml` 文件或 `CONFIG_URL` 定义。可作为 Docker 容器部署（提供一键 Fugue 按钮）
- 项目
fruitbars/simple-one-apisimple‑one‑api 是一个开源的 Go 网关，它通过 OpenAI 兼容的端点统一了多个 LLM 提供商，并增加了容量感知的密钥调度、四层速率限制、内置的 React 聊天 UI、可视化配置控制台以及 Wails 桌面客户端。它可以作为单个二进制文件、Docker 容器或桌面应用运行，并将配置存储在 SQLite 中。
- 项目