Trampoline-AI/predict-rlm

解決的問題

許多 LLM 工作流程過於複雜，無法單靠一個提示完成，又過於靈活，無法用固定的步驟鏈處理。predict-rlm 為此類複雜工作流程提供一個執行環境，讓模型能探索、推理並自適應地調整解決方案路徑，而非遵循僵化的預先定義序列。

工作原理

基於 Recursive Language Models (RLM) 論文，該系統允許模型在沙盒化的 REPL 中撰寫並執行 Python 程式碼。使用者定義輸入、輸出、工具以及操作流程（透過簽名）。隨後，模型會迭代地撰寫程式碼，用於檢查檔案、管理狀態、呼叫針對特定任務（如影像分析或資料提取）的專用子模型，並使用工具，直到能產生最終的類型化輸出。

適用對象

專為需要深度調查與自適應推理的應用程式開發者設計，例如：

• 程式碼庫分析與事件調查。
• 文件審查、去敏與資訊提取。
• 日誌分析與證據收集。
• 金融建模與試算表工作流程。
• 審計與合規審查。

核心亮點

• 沙盒執行：在安全的 REPL 中執行模型產生的 Python 程式碼（支援 JSPI/Deno/Pyodide 或 Docker 沙盒）。
• 上下文管理：透過將大型輸入保留為檔案路徑與元資料，僅在需要時才檢查，避免「上下文腐化」問題。
• 聚焦子呼叫：使用 predict() 啟動類型化的 DSPy 簽名，用於窄範圍感知或提取任務，支援多模態。
• 結構化追蹤：記錄每次迭代、工具呼叫與子呼叫，便於透過 GEPA 等工具進行除錯與優化。
• 技能系統：可將領域指示、PyPI 套件與工具打包為可重用的「技能」（例如內建的試算表與 PDF 技能）。