Pi Durable:用于长期运行、多用户智能体应用的可持久化框架

Pi Durable 提供可持久化的多用户智能体应用

Pi Durable 是随 Pi 1.0 发布的一个实验性框架,它允许大语言模型智能体无限期运行、在进程崩溃后存活,并支持多用户同时访问。它提供了基于存储的对话记录、持久化任务检查点以及插件扩展系统,为构建全天候 AI 工作者奠定了坚实基础。


在任何 JavaScript 运行时上运行长期智能体

Pi Durable 在存储后端(内存、SQLite 或 JSONL)之上提供了一个框架,可以在任何存在 JavaScript 运行时的环境中运行——如 Node、Bun、Cloudflare Durable Objects 等。其存储接口非常精简,因此开发者可以在键值存储或 Postgres 之上实现它。只有活跃的对话记录、实时任务和待处理的提交会保留在内存中;其他所有内容都保留在磁盘上,直到需要时才读取。压缩机制会汇总旧消息,因此即使是包含数万条记录的对话也能轻松放入内存中。

import { Harness } from "@earendil-works/pi-durable";
import { openNodeSqliteStorage } from "@earendil-works/pi-durable/storage/sqlite/node";

const harness = await Harness.open(
  await openNodeSqliteStorage("./agent.sqlite"),
  { models, registry, env },
  context,
);

通过任务检查点实现崩溃恢复

每一个步骤——模型请求、工具调用或压缩——都是一个任务,在继续执行之前会写入一个检查点。如果进程终止,新进程会重新打开相同的存储,发现未完成的任务,并从上一个检查点恢复。模型调用会被重试,工具调用仅在标记为 replay: "safe" 时才会重新执行,而 requestId 则保证了提交的“恰好一次”语义。

await root.submit({ type: "input", content: "Fix flaky login test", requestId: "job-42" }, ctx);
// process crashes here
const newHarness = await Harness.open(...);
newHarness.resume(); // continues the interrupted run

并行对话与分支

单个框架可以托管无限数量的并发对话。对话可以在任何对话记录条目处进行分支,继承父级的历史记录而无需复制。这模拟了 Slack 风格的频道和线程:频道作为一个对话运行,每个线程作为一个独立进行的分支。

const thread = await channel.fork(answer, { ownership: { kind: "ownerless" } }, ctx);
await Promise.all([
  thread.submit({ type: "input", content: "@agent roll back?" }, ctx).wait(ctx),
  channel.submit({ type: "input", content: "@agent who is on call?" }, ctx).wait(ctx),
]);

可扩展架构:扩展、工具、钩子和任务

Pi Durable 将扩展视为系统提示词部分、工具、钩子和自定义任务的命名集合。对话仅存储所选扩展的名称,因此可以在不破坏持久性的情况下升级代码。工具作为持久化任务运行;replay 标志声明了工具在崩溃后是否可以安全重试。

const searchIssues = defineTool({
  name: "search_issues",
  description: "Search the issue tracker",
  parameters: Type.Object({ query: Type.String() }),
  replay: "safe",
  execute: async (args, api) => ({
    content: [{ type: "text", text: await tracker.search(args.query) }],
  }),
});

钩子可以重写请求、拦截工具调用或注入决策。多个钩子按照扩展选择的顺序链式执行,每个钩子都可以存储一个备忘录(memo),以便决策在重启后依然有效。

hook(ToolTask, {
  beforeTool: async (call, api, ctx) => {
    if (call.name !== "deploy") return undefined;
    let approved = await api.memo<boolean>("approval:deploy", ctx);
    approved ??= await api.memo("approval:deploy", await askInSlack(call), ctx);
    return approved ? undefined : { block: "Nobody approved the deploy." };
  },
});

自定义任务接收与内置模型和工具任务相同的检查点和所有权语义。示例中的 shop.checkout 任务演示了幂等支付处理、快速失败中止以及后台与前台执行的区别。

自动压缩以实现无限上下文窗口

当对话接近模型的上下文限制时,Pi Durable 会启动一个后台压缩任务来汇总旧消息。摘要会在下一个轮次边界插入,并且只有在即将到来的请求会导致超出限制时,对话才会等待摘要生成。开发者也可以触发手动压缩或执行 reset() 来开启新的上下文,同时保留可搜索的历史记录。

await root.compact("Keep the names of the failing tests", ctx);

通过类型化文档实现持久化应用状态

应用状态存在于文档中——即与对话记录一起原子存储的类型化 JSON 对象。文档具有版本控制、可回溯性,并可在对话分支中继承值。一个待办事项列表示例展示了工具如何修改文档,以及 UI 如何订阅实时更新。

const Todos = defineDoc<{ items: string[] }>({
  kind: "app.todos",
  version: 1,
  scope: "conversation",
  history: "rewindable",
  fork: "asOf",
  initial: () => ({ items: [] }),
});

可塑性:无需停机即可热插拔扩展

扩展注册表可以在运行时更新。以现有名称安装扩展会立即替换之前的实现。正在进行的工具调用会使用它们启动时的代码完成,后续调用则使用新版本。由于对话仅存储扩展名称,重启后会自动加载最新代码。

registry.install(await loadExtension("./ops.ts")); // hot‑swap

多人协作

所有 UI 状态均派生自已提交的存储,因此任意数量的客户端都可以连接到对话,接收当前视图,然后流式传输增量更新。客户端可以中途加入、观看对话记录,或通过提交带有 whenBusy: "steer" 的新输入来引导智能体。

const view = await thread.viewState(ctx);
view.subscribe(v => render(v));
await thread.submit({ type: "input", content: "Check staging logs", whenBusy: "steer" }, ctx);

社区反应

"很高兴看到 Pi 也构建了一个持久化智能体框架。我自己在这个领域已经深耕很久了……主要参与者都在这个领域构建产品:LangChain Deep Agents, Vercel Eve, OpenAI Agents API, Anthropic Managed Agents" – lukebuehler【source】

"整个源代码(不含测试)大约 15,000 行,使用 GPT 计算约为 150,000 个 token,使用 Claude 则约为 250,000 个 token" – ireadmevs【source】

"我最喜欢多用户这一特性。这应该能让我更容易构建我的远程控制工具" – skeledrew【source】

"太棒了。但我希望持久化应用状态不仅仅局限于 json 文档。应该有一种集成的方式来实现发件箱模式(outbox pattern)" – vmg12【source】

这些评论强调了社区认为 Pi Durable 是现有智能体框架的一种及时且可扩展的替代方案,同时也指出了未来改进的方向,例如更丰富的状态同步机制。


入门指南

Pi Durable 作为实验性包发布。安装核心库并探索捆绑的示例:

npm install @earendil-works/pi-durable @earendil-works/pi-ai @earendil-works/chord
# run the demo coding agent
node packages/coding-agent/src/experimental/durable/main.ts
# run the vacation‑planning demo
node packages/coding-agent/src/experimental/vacation/main.ts

该仓库包含一个 README、三十多个测试驱动的示例,以及一个功能齐全的度假规划 TUI,演示了并发子智能体、崩溃恢复和实时文档更新。


展望

Pi Durable 被定位为全天候 AI 工作者的极简而强大的基础。其设计选择——基于存储的对话记录、检查点任务、可扩展的扩展系统和多客户端视图——解决了持久性、可扩展性和协作的核心挑战。随着作者计划发布更多版本,我们可以期待更丰富的沙箱环境、与外部状态存储更紧密的集成,以及除 TypeScript 之外更广泛的语言支持。

Sources

相关

  • Dispatch
  • 项目
  • Dispatch
  • 项目
  • Dispatch