microsoft/LatentSpatialMemory

Latent Spatial Memory for Video World Models

解决的问题

本项目解决了依赖显式 3D 缓存的视频世界模型效率低下和不一致的问题。传统方法通常需要对场景内容进行重复的 RGB 渲染和重新编码，这在计算上非常昂贵且极其耗费内存。

工作原理

Latent Spatial Memory 将持久化的 3D 场景内容直接存储为潜在表示，而不是 RGB 图像。它从初始观察中构建持久化的潜在缓存，并且对于每个生成的视频块，读取目标视角的记忆，在去噪过程中使用它，然后将更新后的静态场景内容写回缓存。

适用人群

从事视频世界模型、3D 场景生成以及视频合成中高效空间一致性工作的研究人员和开发者。

亮点

  • 潜在记忆：直接在潜在空间中维护持久化的 3D 场景上下文。
  • 无 RGB 绕道：消除了重复渲染和重新编码周期的需求。
  • 记忆生命周期：在生成的视频块之间实现了初始化、读取、去噪和更新的完整周期。
  • 效率：实现了显著更快的生成速度（10.57倍）和大幅降低的 3D 缓存内存使用量（降低 55 倍）。

相关

  • 项目
    microsoft/World-R1

    World-R1 是一个强化学习框架，通过在不改变基础模型架构的前提下，将生成的视频与 3D 约束对齐，提升文本生成视频的 3D 几何一致性。

  • 项目
    ZiYang-xie/WorldGen

    WorldGen 是一款工具，能够在几秒钟内从文字提示或图像生成沉浸式 3D 场景，支持 Gaussian Splatting 与 mesh 输出，适用于 VR、游戏和模拟。

  • 项目
    Vchitect/Latte

    一种用于高质量视频生成的潜在扩散 Transformer，支持文本到视频和文本到图像任务。

  • 项目
    TencentCloud/TencentDB-Agent-Memory

    TencentDB Agent Memory 是一个用于 LLM 代理的开源记忆中心。它能捕捉对话、提取可重复使用的技能、从文档中建立 Wiki，并将代码索引至 CodeGraph。中央 UI (Memory Hub) 让团队能管理资产、设置细粒度的 ACL，并将特定的记忆片段绑定至个别代理。代理通过统一的代理服务器进行通讯，因此任何框架 (如 Claude Code、DeepSeek Harness、OpenClaw 等) 均可在无需修改代码的情况下使用相同的记忆。基准测试显示角色保留率提升了 59%。存储库提供一键式 Docker 部署、迁移工具，以及关于零配置冷启动与更多整合的路线图。

  • 项目
    Robbyant/lingbot-map

    LingBot‑Map 是一个前馈Transformer，可实时从流式视频重建3D点云，使用分页KV缓存（FlashInfer）并支持可选天空遮罩。提供交互式和离线演示脚本、预训练检查点，并通过窗口化推理支持极长序列。