ratel-ai/ratel

Context engineering for AI agents. ~80% fewer tokens. Fix tool overload. Skills and memory with in-process BM25 and semantic retrieval. Progressive Disclosure. No vector DB.

해결하는 문제

Ratel은 AI 에이전트의 "도구 과부하" 문제를 해결합니다. 에이전트의 시스템 프롬프트에 너무 많은 도구나 복잡한 지침이 주어지면, 에이전트가 잘못된 도구를 선택하거나 작업에서 벗어날 수 있어 토큰 비용이 증가하고 모델 정확도가 떨어집니다. Ratel은 에이전트가 대화의 현재 턴과 관련된 도구 및 기술만 받도록 보장하여 이 문제를 방지합니다.

작동 방식

모든 기능을 사전에 로드하는 대신, Ratel은 도구와 기술을 카탈로그에 인덱싱하는 컨텍스트 엔지니어링 레이어를 사용합니다. 에이전트는 search_capabilities 도구를 사용하여 관련 기능을 찾은 다음, 필요에 따라 특정 도구 또는 기술 콘텐츠를 로드합니다.

기본적으로 메타데이터, 이름 및 설명을 기반으로 한 빠르고 결정론적인 검색을 위해 BM25 검색 알고리즘을 사용합니다. 또한 임베딩 엔드포인트 또는 인프로세스 모델을 통한 선택적 시맨틱 및 하이브리드 랭킹도 지원하며, 이 모든 과정에서 별도의 벡터 데이터베이스가 필요하지 않습니다.

대상

대규모의 도구 및 기술 라이브러리를 다룰 때 토큰 사용량을 줄이고 모델 신뢰성을 높이고 싶은 AI 에이전트 개발자.

주요 특징

토큰 효율성: 매 호출 시 사용되지 않는 도구 스키마를 보내는 것을 방지하여 비용을 절감합니다.
정확도 회복: LLM을 혼란스럽게 할 수 있는 무관한 컨텍스트를 제거하여 모델 성능을 향상시킵니다.
인프라 오버헤드 없음: 전용 벡터 데이터베이스 없이도 작동합니다.
다국어 지원: TypeScript 및 Python용 SDK를 제공하며, 핵심 검색 엔진은 Rust로 작성되었습니다.