tingly-dev/tingly-box

해결하는 문제

Tingly Box는 AI 에이전트와 개발자가 여러 AI 모델을 관리하는 방식을 단순화하는 에이전트 우선 모델 게이트웨이입니다. 모든 도구에 대해 별도의 API 키와 프로토콜을 구성할 필요 없이 OpenAI, Anthropic, Google Gemini와 같은 다양한 제공업체에 대한 통합 엔드포인트를 제공합니다.

작동 방식

투명한 프록시 및 라우팅 엔진 역할을 합니다. 서로 다른 AI 제공업체와 에이전트 간의 프로토콜을 변환하여 Claude Code 또는 VS Code 확장 프로그램과 같은 도구가 단일 인터페이스를 통해 다양한 모델과 통신할 수 있도록 합니다. 또한 OAuth 제공업체를 지원하여 사용자가 별도의 API 키 없이 Claude.ai와 같은 플랫폼의 기존 할당량을 사용할 수 있도록 합니다.

대상 사용자

여러 LLM 제공업체를 사용하며 다양한 에이전트 및 도구에 걸쳐 라우팅, 인증 및 사용량 추적을 중앙 집중식으로 관리하고자 하는 개발자 및 AI 에이전트 사용자.

주요 특징

• 에이전트 우선 게이트웨이: 주요 AI 제공업체에 대해 자동 프로토콜 변환이 포함된 통합 엔드포인트.
• 원격 제어: IM 봇(Telegram, Slack, Discord 등)을 통해 AI 에이전트와 상호 작용할 수 있는 기능.
• 스마트 라우팅: 비용, 속도 또는 사용자 정의 정책에 따라 요청을 라우팅합니다.
• 멀티 테넌트 지원: 전용 API 토큰을 통해 사용자별로 격리된 데이터 및 사용량 추적.
• 비주얼 컨트롤 플레인: 구성 파일을 편집하지 않고도 제공업체, 경로 및 모델을 관리할 수 있는 Web UI.
• 낮은 지연 시간: 일반적으로 1ms 미만의 오버헤드가 추가됩니다.