alexzhang13/rlm

해결하는 문제

RLM은 언어 모델에서 거의 무한한 길이의 컨텍스트를 처리해야 하는 과제를 해결합니다. 이 패러다임은 거대한 프롬프트를 단일 모델 호출에 전달하는 대신, 모델이 프로그래밍 방식으로 작업을 분해하고 스스로를 재귀적으로 호출하여 정보를 더 작고 관리하기 쉬운 단위로 처리할 수 있게 합니다.

작동 원리

RLM은 표준 완료 호출을 컨텍스트를 REPL (Read-Eval-Print Loop) 환경 내의 변수로 취급하는 시스템으로 대체합니다. 언어 모델은 코드를 작성하고 실행함으로써 이 환경과 상호 작용합니다. 이 코드 내에서 모델은 프롬프트와 컨텍스트를 객체로 취급하여 하위 LM 호출을 함수로 실행할 수 있습니다. 이는 상호 작용을 JSON 기반 도구 호출에서 모델이 자체 실행 흐름과 재귀적 하위 호출을 관리하는 CodeAct 스타일의 하네스로 전환합니다.

대상 사용자

이 프로젝트는 매우 긴 컨텍스트를 처리하거나 프로그래밍 방식의 제어가 필요한 복잡한 다단계 추론을 수행해야 하는 고급 추론 엔진 또는 에이전트를 구축하는 AI 연구원 및 개발자를 위한 것입니다.

주요 특징

• 유연한 REPL 환경: 로컬 (exec/IPython), Docker, 클라우드 기반 샌드박스 (Modal, Prime Intellect, E2B, Daytona) 등 다양한 실행 환경을 지원합니다.
• 재귀적 추론 엔진: 모델이 작업을 해결하기 위해 스스로를 재귀적으로 호출할 수 있도록 하는 확장 가능한 엔진을 제공합니다.
• 통합 학습 하네스: RLM 패러다임 전용 모델을 학습시키기 위한 prime-rl 및 verifiers 기반의 학습 환경을 포함합니다.
• 궤적 로깅: 코드, 하위 LM 및 루트 LM 호출의 전체 실행 경로를 검사할 수 있는 로거와 전용 시각화 도구를 제공합니다.