Trampoline-AI/predict-rlm

해결하는 문제

많은 LLM 워크플로우는 단일 프롬프트로는 너무 복잡하고, 고정된 단계 체인으로는 너무 유연하지 않습니다. predict-rlm은 이러한 복잡한 워크플로우를 위한 런타임을 제공하여 모델이 해법을 탐색하고 추론하며 경로를 적응적으로 조정할 수 있도록 합니다. 고정된 사전 정의된 시퀀스를 따르는 것이 아니라, 유연하게 행동할 수 있습니다.

작동 방식

Recursive Language Models (RLM) 논문을 기반으로, 시스템은 모델이 사전에 정의된 REPL 내에서 Python 코드를 작성하고 실행할 수 있도록 합니다. 사용자는 입력, 출력, 도구, 운영 절차(서명을 통해)를 정의합니다. 이후 모델은 반복적으로 코드를 작성하여 파일을 검사하고, 상태를 관리하며, 특정 작업(예: 이미지 분석 또는 데이터 추출)에 특화된 하위 모델을 호출하고, 도구를 사용하여 최종 타입 지정 출력을 생성할 수 있습니다.

대상 사용자

심층적인 조사와 적응형 추론이 필요한 애플리케이션을 개발하는 개발자에게 적합합니다. 예를 들어:

• 코드베이스 분석 및 사고 조사.
• 문서 검토, 기밀 정보 제거 및 정보 추출.
• 로그 분석 및 증거 수집.
• 금융 모델링 및 스프레드시트 워크플로우.
• 감사 및 준수 리뷰.

주요 기능

• 사전 환경 실행: 모델 생성된 Python 코드를 보안된 REPL에서 실행 (JSPI/Deno/Pyodide 또는 Docker 사전 환경 지원).
• 컨텍스트 관리: 대규모 입력을 파일 경로와 메타데이터로 유지하고 필요할 때만 검사함으로써 "컨텍스트 회전"을 방지.
• 집중형 하위 호출: predict()를 사용하여 좁은 범위의 인지 또는 추출 작업(다중 모달 지원 포함)에 특화된 타입 지정 DSPy 서명을 시작.
• 구조화된 추적: 각 반복, 도구 호출, 하위 호출을 기록하여 GEPA와 같은 도구를 통해 디버깅 및 최적화 가능.
• 스킬 시스템: 도메인 지침, PyPI 패키지, 도구를 재사용 가능한 "스킬"로 묶을 수 있음 (예: 내장된 스프레드시트 및 PDF 스킬).