avbiswas/fast-rlm

解决的问题

fast-rlm 实现了递归语言模型（RLMs），这是一种专为处理超出模型上下文窗口大小的提示而设计的推理技术。与将所有内容塞入单次调用不同，该代理通过外部 REPL 程序化地探索和转换数据，从而无需手动拆分即可处理任意长度的上下文。

工作原理

该系统使用 Deno 和 Pyodide 为 LLM 提供 Python REPL。根代理可以编写代码来搜索、过滤和分解任务。它可以递归地生成子代理来处理更小的子任务，子代理的响应作为变量或符号返回到父代理的 REPL 中，而不是自动加载到父代理的上下文窗口中。

适用人群

需要处理大规模数据集（例如数百万个标记的转录文本）、执行复杂数据聚合，或在保持有限上下文窗口的同时与外部工具和 MCP 服务器集成的开发者。

主要亮点

• 任意长度上下文：代理通过 REPL 程序化探索数据，不依赖上下文窗口限制。
• 递归子代理：能够生成子代理分解任务，支持受控的状态传递。
• 可恢复会话：自动保存 REPL 变量和代码，允许后续查询重用之前的工作，无需重新探索。
• 结构化 I/O：支持 Pydantic 模型和 JSON Schema 作为输入数据和验证输出。
• MCP 集成：连接到 Model Context Protocol 服务器，将外部工具和资源直接暴露在 REPL 中。
• 灵活后端：兼容 OpenAI、Vertex AI、Anthropic 以及本地 ACP 编码代理。