IPFS Kubo 0.39.0: 通过 Optimistic Provide 加速内容发布
IPFS Kubo 0.39.0: 通过 Optimistic Provide 加速内容发布
IPFS Kubo v0.39.0 引入了 Optimistic Provide，这是一种将内容发布延迟从平均 15 秒降低到 1 秒以下的技术。通过将僵化的 DHT walk 终止条件替换为统计启发式方法，该更新实现了近乎实时的内容可发现性，同时将网络开销降低了 40%。
传统 IPFS 发布中的性能瓶颈
在 IPFS Amino DHT 中进行内容发布传统上需要两个阶段的过程：首先通过 DHT Walk 找到与某段数据在全网范围内最接近的 20 个节点（使用 XOR 距离度量），然后进入 Follow-Up 阶段，将提供者记录推送至这 20 个节点。
从历史上看，DHT Walk 阶段一直是主要的瓶颈。传统的算法要求在终止之前必须等待三个最接近的已发现节点返回响应。在具有高 churn（节点变动）的无许可网络中，这些特定的节点往往无法访问，迫 forcing 系统回溯并查询更远的节点。这种僵化性通常导致中位延迟约为 20 秒，某些操作甚至需要超过两分钟。
Optimistic Provide 的工作原理
Optimistic Provide 通过三个关键机制来加速 "provide" 操作，取代了确定性的等待：
1. 网络规模估算
为了做出概率性决策，节点必须首先估算全网总规模。Kubo v0.39.0 实现了一种轻量级的估算算法，该算法利用现有的路由表刷新机制，不产生额外的网络开销。
通过假设 Peer ID 是均匀分布的，系统使用 Beta 分布的顺序统计量（Order Statistics）将查找结果中的每个节点视为一个独立的网络规模估算值。为了防止局部密度偏差（即密集区域的节点高估了网络规模），该算法对路由表中非满桶（non-full buckets）的数据点进行指数级降权。
2. 预测性终止
有了可靠的网络规模估算，节点可以在 DHT walk 期间做出概率性决策：
- 单节点存储： 当发起者遇到一个在统计学上极有可能（90% 置信度）属于全网最接近的 20 个节点之一时，它会立即存储记录，而不是等待 walk 结束。
- Walk 终止： 一旦发起者 90% 确定当前的 20 个最接近节点集构成了全局最接近集合，它就会立即终止 walk，跳过等待三个最接近节点确认的必要性。
3. 提前返回
由于预测性终止跳过了传统回溯算法的过滤效果，可能会在 follow-up 阶段包含更多无法访问的节点。为了防止单个无响应节点导致用户体验停滞，Kubo 现在会在 20 个节点中已有 15 个确认存储后立即将控制权返回给用户。
剩余的五个请求将在后台异步继续进行。研究表明，将复制因子从 20 降低到 15 对记录的可获取性影响微乎其微。
对性能和可用性的影响
Kubo v0.39.0 的部署使得上传延迟大幅下降，从平均约 15 秒降至约 0.7 秒。
记录可用性
记录的可用性没有受到显著损害。通过乐观方式选择的节点在统计学上与目标 key 足够接近，足以维持可检索性。此外，Reprovide Sweep 机制会在后台执行精确的 PUT 操作，以纠正任何初始放置的不准确性，从而确保长期的记录稳定性，而不会影响初始用户体验。
当前局限性
- 无法拨号的节点： Amino DHT 中约 50% 的节点身份公开了私有 IP 地址。这些节点会虚增网络规模估算值，导致更保守的终止阈值并降低性能增益。
- 冷启动： 节点在启动后需要进行部分路由表刷新，然后才能生成网络规模估算值，这会造成几秒到几分钟的延迟。
未来改进方向
为了进一步优化算法，ProbeLab 团队提出了三项增强功能：
- 节点过滤： 在公共网络上运行时，从估算中剔除仅具有私有 IP 地址的节点。
- Reprovide Sweep 集成： 利用 Reprovide Sweep 的网络枚举功能，直接将准确的节点计数提供给 optimistic provide 算法。
- 磁盘持久化： 将最新的网络规模估算值保存到磁盘，以消除重启后的冷启动延迟。