ratel-ai/ratel

Context engineering for AI agents. ~80% fewer tokens. Fix tool overload. Skills and memory with in-process BM25 and semantic retrieval. Progressive Disclosure. No vector DB.

解決する課題

Ratelは、AIエージェントにおける「ツールの過負荷」の問題に対処します。エージェントのシステムプロンプトに多すぎるツールや複雑な指示が与えられると、エージェントが誤ったツールを選択したり、タスクから逸脱したりするため、トークンコストが増大し、モデルの精度が低下します。Ratelは、エージェントが会話の現在のターンに関連するツールとスキルのみを受け取るようにすることで、これを防止します。

仕組み

すべての機能をあらかじめロードするのではなく、Ratelはツールとスキルをカタログにインデックス化するコンテキストエンジニアリングレイヤーを使用します。エージェントは search_capabilities ツールを使用して関連する機能を検索し、必要に応じて特定のツールやスキルのコンテンツをロードします。

デフォルトでは、メタデータ、名前、説明に基づく高速で決定論的な検索のためにBM25検索アルゴリズムを使用します。また、埋め込みエンドポイントまたはインプロセスモデルを介したオプションのセマンティックおよびハイブリッドランキングもサポートしており、これらはすべて個別のベクトルデータベースを必要としません。

対象者

大量の利用可能なツールやスキルを扱う際に、トークン使用量を削減し、モデルの信頼性を向上させたいAIエージェント開発者。

ハイライト

トークン効率: 毎回の呼び出しで未使用のツールスキーマを送信することを避けることで、コストを削減します。
精度の回復: LLMを混乱させる可能性のある無関係なコンテキストを排除することで、モデルのパフォーマンスを向上させます。
インフラのオーバーヘッドなし: 専用のベクトルデータベースを必要とせずに動作します。
多言語サポート: TypeScriptおよびPython用のSDKを提供し、コアとなる検索エンジンはRustで書かれています。