MIC-DKFZ/nnInteractive

解決的問題

nnInteractive 是一個針對 3D 可提示分割設計的框架，專為 3D 醫學影像（CT、MRI、PET、3D 显微鏡）而打造。它解決了 SAM 等 2D 基礎模型在應用於 3D 醫學資料時常見的體積感知不足與領域偏移問題。本專案提供一種開放集分割方法，讓使用者能透過直覺的 2D 互動來精細調整 3D 分割結果。

如何運作

此系統利用在超過 120 種多樣化體積資料集上訓練的模型。使用者可提供多種提示——包括點、塗鴉、2D 繫框，以及一種新穎的套索提示——以生成並逐步優化 3D 分割。

技術上分為兩個組件：

• 本地推理引擎：需搭配 PyTorch 與 NVIDIA GPU 的完整堆疊，用於本地處理。
• 遠端客戶端/伺服器：輕量級客戶端（nninteractive-client）可透過 HTTP 驅動遠端 GPU 伺服器，讓無 GPU 的機器也能執行複雜的 3D 分割。

適用對象

需要精確、互動式分割工具的 3D 醫學影像研究人員、開發者與臨床實務人員。此框架專為整合至 Python 工作流程或現有的影像平台（如 Napari、MITK、3D Slicer、ITK-SNAP、OHIF）而設計。

主要亮點

• 多樣化提示支援：支援點、塗鴉、2D 繫框與套索提示。
• 體積感知能力：專為 CT、MRI、PET 等 3D 醫學模態訓練。
• 客戶端-伺服器架構：透過輕量級客戶端實現遠端 GPU 推論。
• 廣泛整合：提供主流醫學影像檢視器的官方與社群驅動插件。
• 前沿技術：在 CVPR 2025 互動式 3D 分割挑戰賽中獲得第一名。