NVIDIA Cosmos3-H-Dreams：临床手术的生成式模拟

NVIDIA Cosmos3-H-Dreams 将交互式生成模拟引入临床手术的视觉和流程复杂性中，通过直接从真实临床手术中学习视觉动态，实现了迄今为止最令人信服的体内影像。

从桌面任务到临床场景

体内手术要求生成式模拟器能够捕捉复杂的动态响应，而不仅仅是简单的背景移动，这使得时间一致性对于逼真的模拟至关重要。

在受控的桌面环境中，器械在简单背景下操作；然而，在人体内部，微小的器械移动会引发大规模变化，例如组织在牵引下的拉伸、反射的移动、结构遮挡以及烟雾可见度的变化。

为了作为交互式环境运行，生成的场景必须通过保持解剖结构和器械的保真度来维持真实性，同时遵循特定控制。这意味着平移、旋转和夹爪指令必须产生连贯的解剖学结果，而不仅仅是看起来合理的视频。

Cosmos3-H-Dreams 通过利用一个专门针对临床胆囊切除术进行优化并蒸馏以实现实时操作的模型，解决了这一复杂场景中对低延迟生成的需求，从而能够在具有复杂解剖结构、组织运动和遮挡的场景中实现动作条件化交互。

Cosmos3-H-Dreams 的关键技术进步

Cosmos3-H-Dreams 通过在真实世界临床数据上训练并优化模型以实现实时性能，代表了从以往桌面模拟器的重大飞跃。

基础与控制结构

Cosmos3-H-Dreams 构建于一个专门的双向教师模型之上，该模型是 Cosmos3-H-Embodied-Nano 的改进版本。这个基础是一个在 Open-H-Embodiment 数据集上预训练的 160 亿参数模型。

该模型通过聚焦于两个可见的、参与操作的器械来专门处理临床胆囊切除术：左侧的 Cadiere 抓钳和右侧的单极电钩。该模型支持 28 个动作维度，包括双臂的位姿和夹爪信息，以及能量控制、摇杆轴和摇杆按钮。

教师-学生训练流程

该系统采用了一个复杂的教师-学生训练流程，旨在处理长自回归展开，同时保持快速、交互式的生成。

  1. 教师训练： 双向教师模型首先在 24 个未来帧上进行适配，然后将学习范围扩展到 72 帧（在 10 Hz 下为 2.4 至 7.2 秒），以使教师学习全面的手术动态。
  2. 蒸馏： 蒸馏将双向教师转换为因果学生模型，该模型能够在新动作到达时以短块形式生成视频。因果教师强制使用记录上下文为学生进行顺序生成做准备。
  3. 错误缓解： 自强制训练学生在自己生成的上下文上进行训练，由教师和一个学习到的评论器进行引导。这个过程对于在交互式展开过程中缓解错误累积至关重要。

第一个发布的学生检查点每个生成块使用四个去噪步骤，而第二个发布检查点使用两步调度。两步模型是单独训练的，允许开发者在视觉质量与推理成本之间进行权衡。

实时流式推理

为了实现交互性能，Cosmos3-H-Dreams 集成了 FlashDreams（NVIDIA 的加速流式推理库）和一个适配的 FadeMem 模块。

FlashDreams 提供加速的流式运行时，而 FadeMem 模块在长时间展开过程中整合不断增长的键/值缓存。这种缓存整合补充了自强制，解决了在流式生成过程中模型历史如何存储的问题。

Cosmos3-H-Dreams 可在单个 NVIDIA RTX PRO 6000 GPU 上交互式运行。

能力与泛化

Cosmos3-H-Dreams 旨在泛化到其训练数据之外，即使在被未见过的动作条件化时，也能生成连贯的帧。

该模拟器展示了器械控制如何导致同一场景的不同延续，即使从相同的初始帧开始，也展示了物理上准确的组织变形。这些展开使研究人员能够检查器械是否遵循控制、组织是否对交互做出连贯响应，以及解剖结构和器械外观是否随时间保持一致。

此外，该系统可适应新的数据集和具身。提供了在自定义数据上进行微调和自强制蒸馏的完整配方，前提是新控制器使用与训练数据相同的动作约定和归一化。

未来研究方向与局限性

Cosmos3-H-Dreams 明确是一个研究模拟器，并非经过验证的患者护理系统。当前的能力开辟了几个关键的研究方向：

  • 流程扩展： 扩展覆盖范围和时间一致性，以系统性地建模完整的胆囊切除术流程，定义清晰的任务边界和成功标准。
  • 混合建模： 将学习到的视觉真实感与来自数值模拟的显式几何、接触和组织力学相结合。数值模型可以约束和验证变形，使模拟行为可检查。
  • 临床验证： 通过外科医生的专家反馈评估解剖准确性、器械行为和组织响应，然后可用于创建可复现的基准。
  • 高级交互： 超越两个受控工具，支持多个器械之间更丰富的协调、遮挡和交互。
  • 自主性： 将世界动作模型与 Cosmos3-H-Dreams 闭环耦合，使策略能够学习明确的胆囊切除子任务。

快速开始

开发者可以使用以下资源探索 Cosmos3-H-Dreams 的模型、数据和运行时：

  • 代码与示例： Cosmos3-H-Dreams 的完整 GitHub 仓库。
  • 模型检查点： Cosmos3-H-Dreams 的官方 Hugging Face 检查点。
  • 适配指南： 一份逐步指南，详细说明了在自定义数据集上进行教师微调和自强制蒸馏的过程。
  • 核心组件： 访问 Open-H-Embodiment 数据集、FlashDreams 运行时和 NVIDIA Cosmos 3 仓库。

SUMMARY: NVIDIA Cosmos3-H-Dreams 是一款生成式手术模拟器，通过直接从真实临床手术录像中学习视觉动态，实现对临床胆囊切除术的交互式、高真实感模拟。

TITLE: NVIDIA Cosmos3-H-Dreams：临床手术的生成式模拟

Sources