avbiswas/fast-rlm

解決的問題

fast-rlm 實作了遞迴語言模型（RLMs），一種專為處理超出模型上下文視窗大小的提示而設計的推論技術。與將所有內容塞入單次呼叫不同，該代理透過外部 REPL 程式化地探索和轉換資料，從而無需手動拆分即可處理任意長度的上下文。

工作原理

該系統使用 Deno 和 Pyodide 為 LLM 提供 Python REPL。根代理可撰寫程式碼來搜尋、過濾和分解任務。它可遞迴地產生子代理來處理較小的子任務，子代理的回應作為變數或符號回傳至父代理的 REPL 中，而非自動載入至父代理的上下文視窗中。

適用對象

需要處理大型資料集（例如數百萬個標記的轉錄內容）、執行複雜資料聚合，或在維持有限上下文視窗的同時與外部工具和 MCP 伺服器整合的開發者。

主要亮點

• 任意長度上下文：代理透過 REPL 程式化探索資料，不依賴上下文視窗限制。
• 遞迴子代理：可產生子代理分解任務，支援受控的狀態傳遞。
• 可恢復會話：自動儲存 REPL 變數和程式碼，允許後續查詢重用先前工作，無需重新探索。
• 結構化 I/O：支援 Pydantic 模型與 JSON Schema 作為輸入資料與驗證輸出。
• MCP 集成：連接到 Model Context Protocol 伺服器，將外部工具與資源直接暴露於 REPL 中。
• 靈活後端：相容 OpenAI、Vertex AI、Anthropic 及本地 ACP 編碼代理。