avbiswas/fast-rlm

What it solves

fast-rlm은 Recursive Language Models (RLMs)의 최소 구현을 제공하여, LLM이 컨텍스트 창을 초과하는 임의의 길이의 프롬프트를 처리할 수 있도록 합니다. 에이전트가 모든 정보를 단일 프롬프트에 넣으려고 시도하는 대신, 외부 REPL을 통해 프로그래밍 방식으로 데이터를 탐색, 분해 및 변환할 수 있게 함으로써 컨텍스트 오버플로 문제를 해결합니다.

How it works

이 시스템은 LLM이 입력을 조작하기 위해 코드를 작성하고 실행할 수 있는 REPL (Deno 및 Pyodide 기반)을 사용합니다. 모든 데이터를 프롬프트에 로드하는 대신, 에이전트는 코드를 통해 데이터와 상호작용합니다. 서브 에이전트를 재귀적으로 호출하여 더 작은 하위 작업을 처리할 수 있으며, 이때 응답은 부모 에이전트의 REPL 환경 내의 변수 또는 심볼로 반환되어 부모의 컨텍스트가 복잡해지는 것을 방지합니다.

Who it’s for

수동 청킹(chunking)이나 복잡한 RAG 파이프라인 없이 프로그래밍 방식의 분해와 재귀적 에이전트 워크플로우가 필요한 대규모 데이터 세트 또는 복잡한 작업을 처리해야 하는 개발자 및 AI 연구자.

Highlights

• Arbitrarily Long Context: 에이전트는 대규모 파일(예: 수백만 개의 토큰)을 프로그래밍 방식으로 검색, 필터링 및 청킹할 수 있습니다.
• Recursive Delegation: 격리된 컨텍스트에서 하위 작업을 완료하기 위해 서브 에이전트를 생성할 수 있는 능력.
• Structured I/O: 입력 및 출력 검증을 위해 Pydantic models, JSON Schema 및 Python primitives를 지원합니다.
• Resumable Sessions: 매 단계마다 상태가 자동 저장되어 후속 쿼리가 이전 작업과 변수를 재사용할 수 있습니다.
• MCP Integration: Model Context Protocol 서버에 연결하여 REPL 내에 외부 도구 및 리소스를 노출합니다.
• Flexible Backends: OpenAI-compatible APIs, Vertex AI, native Anthropic API 및 로컬 CLI 코딩 에이전트를 지원합니다.