TokenFlux/TokenRouter

해결하는 문제

TokenRouter는 여러 대규모 언어 모델(LLM) 제공업체를 관리하는 복잡성을 해결합니다. 다른 공급업체별로 별도의 API를 통합하는 대신, 단일 API 키로 다양한 모델에 액세스할 수 있는 통합 게이트웨이를 제공합니다.

작동 방식

사용자와 여러 업스트림 AI 플랫폼 사이의 프록시 계층으로 작동합니다. 서로 다른 프로토콜(예: Anthropic Messages, OpenAI Chat Completions, Gemini) 간을 변환하고 모델 가용성, 속도 제한 또는 세션 고정에 따라 요청을 적절한 제공업체로 라우팅합니다. 업스트림 제공업체가 실패하면 시스템은 자동으로 다른 사용 가능한 제공업체로 전환합니다.

대상 사용자

다양한 공급업체의 다양한 AI 모델을 사용하고 액세스 관리, 사용량 모니터링, 비용 제어를 중앙 집중화해야 하는 개발자와 조직을 위해 설계되었습니다.

주요 기능

• 다중 제공업체 통합: API 키, OAuth, AWS Bedrock, Vertex AI를 통해 OpenAI, Anthropic, Gemini, Grok, DeepSeek 등을 지원합니다.
• 프로토콜 변환: 공급업체별 프로토콜 간 요청을 자동으로 변환합니다.
• 액세스 및 할당량 관리: 사용자/팀 할당량, 동시성, RPM(분당 요청 수)을 제어합니다.
• 청구 및 결제: 사용량 기반 청구, 구독, Stripe, Alipay, WeChat Pay와 같은 여러 결제 게이트웨이를 내장 지원합니다.
• 콘텐츠 모더레이션: 키워드 또는 해시 규칙에 따라 요청을 차단하고 위반 사용자를 자동으로 금지할 수 있습니다.
• 포괄적인 API 지원: 텍스트 외에도 임베딩, 이미지 생성/편집, 비디오, 음성(TTS/STT), 웹 검색 엔드포인트를 제공합니다.