MIC-DKFZ/nnInteractive

解决的问题

nnInteractive 是一个用于 3D 可提示分割的框架，专为 3D 医疗图像（CT、MRI、PET、3D 显微镜）设计。它解决了 SAM 等 2D 基础模型在应用于 3D 医疗数据时常见的体积感知不足和领域偏移问题。该项目提供了一种开放集分割方法，允许用户通过直观的 2D 交互来精炼 3D 分割结果。

如何工作

该系统利用在超过 120 个多样化体数据集上训练的模型。用户可提供多种提示——包括点、涂鸦、2D 边界框以及一种新颖的套索提示——以生成并逐步优化 3D 分割。

技术上分为两个组件：

• 本地推理引擎：需要 PyTorch 和 NVIDIA GPU 的完整堆栈，用于本地处理。
• 远程客户端/服务器：轻量级客户端（nninteractive-client）可通过 HTTP 驱动远程 GPU 服务器，使无 GPU 的机器也能执行复杂的 3D 分割。

适用人群

需要精确、交互式分割工具的 3D 医疗影像研究人员、开发者和临床从业者。该框架专为集成到 Python 工作流或现有影像平台（如 Napari、MITK、3D Slicer、ITK-SNAP、OHIF）而设计。

主要亮点

• 多样化的提示支持：支持点、涂鸦、2D 边界框和套索提示。
• 体积感知能力：专为 CT、MRI、PET 等 3D 医疗模态训练。
• 客户端-服务器架构：通过轻量级客户端实现远程 GPU 推理。
• 广泛集成：提供主流医学图像查看器的官方及社区驱动插件。
• 前沿技术：在 CVPR 2025 交互式 3D 分割挑战赛中荣获第一名。