eigenvivek/DiffDRR

[MICCAI CLIP 2022] Differentiable digitally reconstructed radiographs in PyTorch

解决的问题

DiffDRR 提供了一种从 3D CT 体积生成数字重建放射影像(DRR)——合成 X 射线图像——的方法。由于它是完全可微分的,研究人员可以使用基于梯度的优化来解决医学成像中的逆问题,例如将 2D X 射线与 3D CT 扫描对齐(2D/3D 配准)或从 2D 投影重建 3D 体积。

工作原理

它实现了 Siddon 方法,这是一种经典的算法,用于计算 X 射线穿过 3D 体积的放射路径,并将其表示为 PyTorch 中的一系列向量化张量操作。通过将这种基于物理的渲染过程重新表述为张量代数,该库支持对相机姿态和 3D 体积本身进行自动微分。

适用人群

该工具专为从事术中图像引导、手术导航和涉及 X 射线数据的计算机视觉任务的医学成像研究人员和开发人员设计。它适用于需要将基于物理的 X 射线模拟直接集成到深度学习流程中的用户。

亮点

  • 可微分的 X 射线渲染,集成为 PyTorch 模块。
  • GPU 加速合成,性能快速。
  • 支持基于梯度的 2D/3D 配准和体积重建。
  • 兼容多种相机姿态表示(例如,四元数、旋转矩阵、欧拉角)。
  • 使用 PyTorch 的纯 Python 实现。

相关

  • 项目
  • 项目
  • 项目