OctaFuse/octafuse-gateway

해결하는 문제

Octafuse Gateway는 AI 에이전트를 위해 설계된 셀프 호스팅 오픈 소스 AI 게이트웨이입니다. 여러 AI 제공업체, 모델 및 도구를 단일 통합 진입점으로 통합하여 파편화된 AI 리소스 문제를 해결합니다. 이를 통해 개인과 팀은 서비스마다 별도의 엔드포인트를 관리할 필요 없이 다양한 텍스트, 이미지, 음성 모달리티 전반에서 라우팅, API 키, 예산 및 감사를 관리할 수 있습니다.

작동 방식

이 게이트웨이는 클라이언트와 다양한 AI 제공업체 사이의 중간 계층 역할을 하며 모든 요청에 대해 통합된 Base URL을 제공합니다. 여러 프로토콜(OpenAI, Anthropic, Gemini 및 DashScope, MiniMax, Volcengine의 네이티브 엔드포인트)을 지원하며 프로토콜 변환을 수행할 수 있어, 클라이언트는 익숙한 API(예: OpenAI API)를 사용하여 서로 다른 제공업체의 모델을 호출할 수 있습니다.

주요 운영 메커니즘은 다음과 같습니다:

• 제공업체 및 모델 통합: 미리 구성된 제공업체와 모델을 원클릭으로 가져오기.
• 에이전트 도구: /v1/tools/* 엔드포인트를 통해 웹 검색, 웹 가져오기, AI 탐지 등의 도구에 통합 액세스.
• 라우팅 전략: 부하, 비용 및 캐시 적중률을 균형 있게 조정하기 위한 4가지 전략(해시 친화성, 가중치 랜덤, 가중치 우선순위, 가중치 라운드 로빈).
• 사용자 및 비용 관리: 비용을 추적하고 사용자 및 팀별 할당량을 관리하기 위한 3원장 시스템(카탈로그 가격, 공급 비용, 사용자 가격).

대상 사용자

• AI 에이전트 개발자: 모델과 도구 모두에 대한 단일 액세스 지점이 필요한 개발자.
• 엔터프라이즈 AI 팀: AI 리소스 사용에 대한 중앙 집중식 거버넌스, 비용 추적 및 예산 제어가 필요한 조직.
• 셀프 호스팅 사용자: 자체 인프라(Docker 또는 Cloudflare Workers)에 AI 게이트웨이를 배포하려는 사용자.

주요 특징

• 멀티모달 지원: 텍스트, 이미지 생성/편집, ASR, TTS 및 실시간 음성 처리.
• 에이전트 중심: 에이전트를 위해 특별히 설계된 웹 검색, 딥 검색 및 웹 스크래핑 도구 내장.
• 에이전트 라우팅: 성능 향상을 위한 Prompt Cache 친화성을 포함한 고급 라우팅 전략.
• 3원장 비용 관리: 표준 가격, 실제 비용 및 사용자별 가격 책정을 포함한 상세한 비용 회계.
• 유연한 배포: Cloudflare Workers + D1을 통한 무료/엣지 배포 또는 Postgres/MySQL을 사용하는 Docker 배포 지원.