tingly-dev/tingly-box

解決する課題

Tingly Boxは、AIエージェントと開発者が複数のAIモデルを管理する方法を簡素化する、エージェントファーストのモデルゲートウェイです。ツールごとに個別のAPIキーやプロトコルを設定する必要がなくなり、OpenAI、Anthropic、Google Geminiなどのさまざまなプロバイダーに対して統一されたエンドポイントを提供します。

仕組み

透明なプロキシおよびルーティングエンジンとして機能します。異なるAIプロバイダーとエージェント間のプロトコルを変換し、Claude CodeやVS Code拡張機能などのツールが単一のインターフェースを介してさまざまなモデルと通信できるようにします。また、OAuthプロバイダーをサポートしており、ユーザーは個別のAPIキーを必要とせずに、Claude.aiなどのプラットフォームの既存のクォータを使用できます。

対象ユーザー

複数のLLMプロバイダーを使用しており、異なるエージェントやツールにわたるルーティング、認証、使用状況の追跡を一元的に管理する方法を求めている開発者およびAIエージェントユーザー。

ハイライト

• エージェントファースト・ゲートウェイ: 主要なAIプロバイダーに対して、自動プロトコル変換を備えた統合エンドポイントを提供。
• リモートコントロール: IMボット（Telegram、Slack、Discordなど）を介してAIエージェントと対話する機能。
• スマートルーティング: コスト、速度、またはカスタムポリシーに基づいてリクエストをルーティング。
• マルチテナント対応: 専用のAPIトークンを介した、ユーザーごとの分離されたデータと使用状況の追跡。
• ビジュアル・コントロール・プレーン: 設定ファイルを編集することなく、プロバイダー、ルート、モデルを管理できるWeb UI。
• 低レイテンシ: オーバーヘッドは通常1ms未満。