Pi Durable: 長期実行・マルチユーザー対応エージェントアプリケーションのための耐久性ハーネス

Pi Durableが実現する耐久性のあるマルチユーザーエージェントアプリケーション

Pi Durableは、Pi 1.0に同梱された実験的なハーネスです。大規模言語モデル(LLM)エージェントを無期限に実行し、プロセスのクラッシュから復旧させ、多数のユーザーが同時にアクセスできるようにします。ストレージベースのトランスクリプト、耐久性のあるタスクチェックポイント、プラグイン拡張システムを提供し、常時稼働するAIワーカーを構築するための強固な基盤となります。


あらゆるJavaScriptランタイムで動作する長期実行エージェント

Pi Durableは、ストレージバックエンド(メモリ、SQLite、またはJSONL)上でハーネスを開き、Node、Bun、Cloudflare Durable Objectsなど、JavaScriptランタイムが存在する場所であればどこでも実行可能です。ストレージインターフェースは非常に軽量であるため、開発者はキーバリューストアやPostgres上に実装することもできます。アクティブなトランスクリプト、ライブタスク、保留中の送信のみがメモリ内に保持され、それ以外は必要になるまでディスク上に留まります。コンパクション(圧縮)機能が古いメッセージを要約するため、数万件のエントリを持つ会話であってもRAMに快適に収まります。

import { Harness } from "@earendil-works/pi-durable";
import { openNodeSqliteStorage } from "@earendil-works/pi-durable/storage/sqlite/node";

const harness = await Harness.open(
  await openNodeSqliteStorage("./agent.sqlite"),
  { models, registry, env },
  context,
);

タスクチェックポイントによるクラッシュ耐性のある実行

モデルリクエスト、ツール呼び出し、コンパクションなどのすべてのステップは「タスク」であり、次に進む前にチェックポイントを書き込みます。プロセスが終了した場合、新しいプロセスが同じストレージを開き、未完了のタスクを発見して最後のチェックポイントから再開します。モデル呼び出しは再試行され、ツール呼び出しは replay: "safe" とマークされている場合にのみ再実行されます。また、requestId により、送信に対して「Exactly-once(厳密に1回)」のセマンティクスが保証されます。

await root.submit({ type: "input", content: "Fix flaky login test", requestId: "job-42" }, ctx);
// process crashes here
const newHarness = await Harness.open(...);
newHarness.resume(); // continues the interrupted run

並列会話とフォーク

単一のハーネスで無制限の同時会話をホストできます。会話はトランスクリプトの任意のエントリで「フォーク(分岐)」でき、親の履歴をコピーせずに継承します。これはSlackスタイルのチャンネルとスレッドをモデル化しています。チャンネルは1つの会話として実行され、各スレッドは独立して進行するフォークとして機能します。

const thread = await channel.fork(answer, { ownership: { kind: "ownerless" } }, ctx);
await Promise.all([
  thread.submit({ type: "input", content: "@agent roll back?" }, ctx).wait(ctx),
  channel.submit({ type: "input", content: "@agent who is on call?" }, ctx).wait(ctx),
]);

拡張可能なアーキテクチャ:拡張機能、ツール、フック、タスク

Pi Durableは、「拡張機能」をシステムプロンプトセクション、ツール、フック、カスタムタスクの名前付きバンドルとして扱います。会話には選択された拡張機能の名前のみが保存されるため、耐久性を損なうことなくコードをアップグレードできます。ツールは耐久性のあるタスクとして実行され、replay フラグによってクラッシュ後に再実行しても安全かどうかが宣言されます。

const searchIssues = defineTool({
  name: "search_issues",
  description: "Search the issue tracker",
  parameters: Type.Object({ query: Type.String() }),
  replay: "safe",
  execute: async (args, api) => ({
    content: [{ type: "text", text: await tracker.search(args.query) }],
  }),
});

フックはリクエストの書き換え、ツール呼び出しのブロック、または決定の注入を行うことができます。複数のフックは拡張機能が選択された順序で連鎖し、各フックは決定が再起動後も保持されるようにメモを保存できます。

hook(ToolTask, {
  beforeTool: async (call, api, ctx) => {
    if (call.name !== "deploy") return undefined;
    let approved = await api.memo<boolean>("approval:deploy", ctx);
    approved ??= await api.memo("approval:deploy", await askInSlack(call), ctx);
    return approved ? undefined : { block: "Nobody approved the deploy." };
  },
});

カスタムタスクは、組み込みのモデルタスクやツールタスクと同じチェックポイントおよび所有権セマンティクスを受け取ります。shop.checkout タスクの例は、べき等な支払い処理、フェイルファストな中断、バックグラウンド対フォアグラウンド実行を示しています。

無限のコンテキストウィンドウのための自動コンパクション

会話がモデルのコンテキスト制限に近づくと、Pi Durableはバックグラウンドで「コンパクション」タスクを起動し、古いメッセージを要約します。要約は次のターンの境界に挿入され、会話は次のリクエストが制限を超えてしまう場合にのみ要約を待ちます。開発者は手動でコンパクションをトリガーしたり、完全な reset() を実行して検索可能な履歴を保持したまま新しいコンテキストを開始したりすることもできます。

await root.compact("Keep the names of the failing tests", ctx);

型付きドキュメントによる耐久性のあるアプリケーション状態

アプリケーションの状態は、トランスクリプトとともにアトミックに保存される型付きJSONオブジェクトである「ドキュメント」内に存在します。ドキュメントはバージョン管理され、巻き戻し可能であり、会話のフォーク間で値を継承します。Todoリストの例では、ツールがドキュメントをどのように変更し、UIがライブアップデートを購読できるかを示しています。

const Todos = defineDoc<{ items: string[] }>({
  kind: "app.todos",
  version: 1,
  scope: "conversation",
  history: "rewindable",
  fork: "asOf",
  initial: () => ({ items: [] }),
});

可塑性:ダウンタイムなしのホットスワップ拡張

拡張機能レジストリは実行時に更新できます。既存の名前で拡張機能をインストールすると、以前の実装が即座に置き換わります。進行中のツール呼び出しは開始時のコードで完了し、後続の呼び出しは新しいバージョンを使用します。会話には拡張機能名のみが保存されるため、再起動時に自動的に最新のコードが読み込まれます。

registry.install(await loadExtension("./ops.ts")); // hot-swap

マルチプレイヤーコラボレーション

すべてのUI状態はコミットされたストレージから導出されるため、任意の数のクライアントが会話に接続し、現在のビューを受け取り、増分更新をストリーミングできます。クライアントは途中から参加してトランスクリプトを監視したり、whenBusy: "steer" を指定して新しい入力を送信することでエージェントを誘導したりできます。

const view = await thread.viewState(ctx);
view.subscribe(v => render(v));
await thread.submit({ type: "input", content: "Check staging logs", whenBusy: "steer" }, ctx);

コミュニティの反応

「Piが耐久性のあるエージェントハーネスを構築したのを見るのは非常にクールです。私自身もこの分野でかなり長い間構築してきましたが……主要なプレイヤーがこの分野で製品を構築しています:LangChain Deep Agents、Vercel Eve、OpenAI Agents API、Anthropic Managed Agents」 – lukebuehler【source】

「テストを除いたソースコード全体で約15,000行あり、GPTで約150,000トークン、Claudeで約250,000トークンになります」 – ireadmevs【source】

「マルチユーザーの部分が一番気に入っています。リモートコントロールツールを構築するのが簡単になりそうです」 – skeledrew【source】

「素晴らしい。ただ、耐久性のあるアプリケーション状態がJSONドキュメントだけに制限されていないことを願います。アウトボックスパターンを実装するための統合された方法があるべきです」 – vmg12【source】

これらのコメントは、コミュニティがPi Durableを既存のエージェントフレームワークに対するタイムリーで拡張可能な代替手段と見なしている一方で、よりリッチな状態同期メカニズムなどの将来の改善点も指摘していることを示しています。


はじめに

Pi Durableは実験的なパッケージとして提供されています。コアライブラリをインストールし、同梱されている例を試してみてください:

npm install @earendil-works/pi-durable @earendil-works/pi-ai @earendil-works/chord
# run the demo coding agent
node packages/coding-agent/src/experimental/durable/main.ts
# run the vacation-planning demo
node packages/coding-agent/src/experimental/vacation/main.ts

リポジトリにはREADME、30以上のテスト駆動型の例、および並行サブエージェント、クラッシュ復旧、ライブドキュメント更新を示すフル機能の休暇計画TUIが含まれています。


今後の展望

Pi Durableは、常時稼働するAIワーカーのための最小限かつ強力な基盤として位置付けられています。ストレージベースのトランスクリプト、チェックポイント化されたタスク、拡張可能な拡張機能、マルチクライアントビューといった設計上の選択は、耐久性、スケーラビリティ、コラボレーションという核心的な課題に対処しています。今後のリリースでは、よりリッチなサンドボックス化、外部状態ストアとの緊密な統合、TypeScript以外の言語への広範なサポートが期待されます。

Sources

関連

  • Dispatch
  • プロジェクト
  • Dispatch
  • プロジェクト
  • Dispatch