OctaFuse/octafuse-gateway

解决的问题

Octafuse Gateway 是一个专为 AI Agent 设计的自托管开源 AI 网关。它通过将多个 AI 提供商、模型和工具整合至单一统一入口，解决了 AI 资源碎片化的问题。这让个人与团队能够在各种文字、图像与语音模态中管理路由、API 密钥、预算与审计，无需为每个服务管理独立的端点。

运作方式

该网关作为客户端与各个 AI 提供商之间的中间层，为所有请求提供统一的 Base URL。它支持多种协议（OpenAI、Anthropic、Gemini 以及 DashScope、MiniMax 和 Volcengine 的原生端点），并能执行协议转换，让客户端能使用熟悉的 API（如 OpenAI 的 API）来调用不同提供商的模型。

主要运作机制包括：

• 提供商与模型整合：一键导入预先配置的提供商与模型。
• Agent 工具支持：通过 /v1/tools/* 端点统一访问网页搜索、网页抓取与 AI 检测等工具。
• 路由策略：四种不同的策略（哈希亲和性、加权随机、权重优先与加权轮询）以平衡负载、成本与缓存命中率。
• 用户与计费管理：三账本系统（目录价格、供应成本与用户价格）以追踪成本并管理不同用户与团队的配额。

适用对象

• AI Agent 开发者：需要同时访问模型与工具的单一入口点的开发者。
• 企业 AI 团队：需要对 AI 资源使用进行集中治理、成本追踪与预算控制的组织。
• 自托管用户：希望在自己的基础设施（Docker 或 Cloudflare Workers）上部署 AI 网关的用户。

特色亮点

• 多模态支持：处理文字、图像生成/编辑、ASR、TTS 与实时语音。
• 以 Agent 为中心：内置专为 Agent 设计的网页搜索、深度搜索与网页爬虫工具。
• Agent 路由：进阶路由策略，包含 Prompt Cache 亲和性以提升性能。
• 三账本计费：详细的成本会计，包含标准价格、实际成本与用户特定定价。
• 灵活部署：支持 Cloudflare Workers + D1 进行免费/边缘部署，或使用 Docker 搭配 Postgres/MySQL。