avbiswas/fast-rlm

What it solves

fast-rlm は、Recursive Language Models (RLMs) の最小実装を提供し、LLM がコンテキストウィンドウを超える任意に長いプロンプトを処理できるようにします。すべての情報を単一のプロンプトに詰め込もうとするのではなく、エージェントが外部 REPL を通じてプログラム的にデータを探索、分解、および変換できるようにすることで、コンテキストオーバーフローの問題を解決します。

How it works

このシステムは、LLM が入力を操作するためにコードを記述および実行できる REPL (Deno と Pyodide によって駆動) を使用します。すべてのデータをプロンプトにロードする代わりに、エージェントはコードを介してデータと対話します。サブエージェントを再帰的に呼び出して、より小さなサブタスクを処理させることができ、そのレスポンスは親エージェントの REPL 環境内の変数またはシンボルとして返されるため、親のコンテキストが乱れるのを防ぎます。

Who it’s for

手動でのチャンク分割や複雑な RAG パイプラインなしで、プログラム的な分解と再帰的なエージェントワークフローを必要とする、大規模なデータセットや複雑なタスクを処理する必要がある開発者や AI 研究者。

Highlights

• Arbitrarily Long Context: エージェントは、大量のファイル (例: 数百万トークン) をプログラム的に検索、フィルタリング、およびチャンク分割できます。
• Recursive Delegation: 隔離されたコンテキストでサブタスクを完了するために、サブエージェントを生成する能力。
• Structured I/O: 入出力検証のために Pydantic models、JSON Schema、および Python primitives をサポート。
• Resumable Sessions: ステップごとに状態が自動保存されるため、フォローアップのクエリで以前の作業や変数を再利用できます。
• MCP Integration: Model Context Protocol サーバーに接続して、REPL 内に外部ツールやリソースを公開します。
• Flexible Backends: OpenAI-compatible APIs、Vertex AI、ネイティブ Anthropic API、およびローカル CLI コーディングエージェントをサポート。