avbiswas/fast-rlm

해결하는 문제

fast-rlm은 모델의 컨텍스트 창에 맞지 않는 너무 큰 프롬프트를 처리하기 위해 설계된 추론 기술인 Recursive Language Models (RLMs)를 구현합니다. 모든 것을 한 번의 호출에 넣는 대신, 외부 REPL을 통해 데이터를 프로그래밍 방식으로 탐색하고 변환함으로써, 수동으로 분할하지 않고도 임의로 긴 컨텍스트를 처리할 수 있습니다.

작동 방식

시스템은 Deno와 Pyodide를 사용하여 LLM에 Python REPL을 제공합니다. 루트 에이전트는 검색, 필터링, 작업 분해를 위한 코드를 작성할 수 있습니다. 또한 더 작은 하위 작업을 처리하기 위해 재귀적으로 하위 에이전트를 생성할 수 있으며, 하위 에이전트의 응답은 부모의 REPL 내 변수나 심볼로 반환되어 자동으로 부모의 컨텍스트 창에 로드되지 않습니다.

대상 사용자

수백만 토큰의 트랜스크립트와 같은 대규모 데이터셋을 처리해야 하는 AI 에이전트를 개발하는 개발자, 복잡한 데이터 집계를 수행해야 하는 개발자, 또는 제한된 컨텍스트 창을 유지하면서 외부 도구 및 MCP 서버와 통합해야 하는 개발자.

주요 특징

• 임의로 긴 컨텍스트: 컨텍스트 창 제한에 의존하지 않고 REPL을 통해 프로그래밍 방식으로 데이터 탐색.
• 재귀적 하위 에이전트: 작업을 분해하기 위해 자식 에이전트를 생성할 수 있으며, 상태 전달을 제어 가능.
• 재개 가능한 세션: REPL 변수와 코드를 자동 저장하여 후속 질의에서 이전 작업을 재사용할 수 있으며, 다시 탐색할 필요 없음.
• 구조화된 I/O: 입력 데이터 및 검증된 출력에 Pydantic 모델과 JSON Schema 지원.
• MCP 통합: Model Context Protocol 서버에 연결하여 REPL 내에서 외부 도구 및 리소스를 직접 노출.
• 유연한 백엔드: OpenAI, Vertex AI, Anthropic 및 로컬 ACP 코드 에이전트와 호환.