tingly-dev/tingly-box

해결하는 문제

Tingly Box는 AI 에이전트와 모델에 대한 통합 게이트웨이를 제공하여, 여러 API 키, 프로바이더, 다양한 도구 간의 복잡한 설정을 관리할 필요 없이 사용할 수 있도록 합니다. Claude Code, OpenCode, Codex와 같은 AI 에이전트와 vLLM, Ollama와 같은 자체 호스팅 서버 및 클라우드 API 등 다양한 모델 프로바이더 간의 연결을 단순화하며, 프로덕션 수준의 관리 기능을 추가합니다.

작동 방식

AI 에이전트에서 오는 요청을 적절한 모델 프로바이더로 라우팅하는 프록시 및 조정자 역할을 합니다. OpenAI와 Anthropic API 간의 양방향 프로토콜 변환을 지원하며, OAuth 프로바이더를 사용해 기존 할당량을 활용할 수 있습니다. 웹 기반 관리 UI를 통해 루트, 별칭, 프로바이더를 구성할 수 있으며, IM 봇을 통해 원격 제어를 확장할 수 있습니다.

대상 사용자

여러 AI 에이전트와 모델 프로바이더를 사용하며, 접근 권한을 중앙에서 관리하고, 사용량을 추적하며 효율적으로 요청을 라우팅하고자 하는 개발자 및 팀입니다.

주요 특징

• 에이전트 중심 게이트웨이: Claude Code, OpenCode, Codex 등 에이전트에 대한 원클릭 설정 지원.
• 원격 제어: Telegram, Slack, Discord 등 다양한 IM 플랫폼을 통해 AI 에이전트를 원격으로 제어 가능.
• 스마트 라우팅: 비용, 속도, 사용자 정의 정책에 따라 요청을 지능적으로 라우팅.
• 광범위한 호환성: DeepSeek에 대한 심층 최적화 및 vLLM, SGLang, Ollama와 같은 자체 호스팅 엔진 지원.
• 사용량 분석: 토큰 소비량, 지연 시간, 비용 추정치를 내장된 추적 기능으로 제공.