avbiswas/fast-rlm

何を解決するか

fast-rlm は、モデルのコンテキストウィンドウに収まらないほど大きなプロンプトを処理するための推論技術である Recursive Language Models (RLMs) を実装しています。すべてを一度の呼び出しに収めるのではなく、外部の REPL を通じてデータをプログラム的に探索・変換することで、手動での分割なしに任意の長さのコンテキストを処理できます。

動作方法

このシステムは Deno と Pyodide を使って LLM に Python REPL を提供します。ルートエージェントは、検索、フィルタリング、タスクの分解を行うコードを書くことができます。さらに、より小さなサブタスクを処理するために再帰的にサブエージェントを生成でき、サブエージェントの応答は親の REPL 内の変数やシンボルとして返されるため、自動的に親のコンテキストウィンドウに読み込まれることはありません。

対象ユーザー

大規模なデータセット（例：数百万トークンのトランスクリプト）を処理する必要がある AI エージェントを開発している開発者、複雑なデータ集約を実行する必要がある開発者、または外部ツールや MCP サーバーと統合しながら、制限されたコンテキストウィンドウを維持したい開発者。

特徴

• 任意の長さのコンテキスト: コンテキストウィンドウの制限に頼らず、REPL を通じてプログラム的にデータを探索。
• 再帰的サブエージェント: タスクを分解するための子エージェントを生成可能で、状態の伝達を制御可能。
• 再開可能なセッション: REPL 変数とコードを自動保存し、後続のクエリで以前の作業を再利用可能。再探索不要。
• 構造化 I/O: 入力データおよび検証済み出力に Pydantic モデルと JSON Schema をサポート。
• MCP インテグレーション: Model Context Protocol サーバーに接続し、REPL 内で外部ツールやリソースを直接利用可能。
• 柔軟なバックエンド: OpenAI、Vertex AI、Anthropic、およびローカル ACP コーディングエージェントと互換性あり。