MIC-DKFZ/nnInteractive

何を解決するか

nnInteractive は 3D プロンプト可能なセグメンテーション用のフレームワークであり、特に 3D 医療画像（CT、MRI、PET、3D マイクロスコピ）に特化しています。SAM などの 2D ベースモデルには、3D 医療データに適用する際に体積認識の欠如やドメインシフトの問題があるため、このプロジェクトは開集合セグメンテーション手法を提供し、直感的な 2D インタラクションを通じて 3D セグメンテーションを修正できるようにします。

どう動くか

このシステムは、120 種類以上の多様な体積データセットで訓練されたモデルを利用しています。ユーザーは点、スクライブ、2D バウンディングボックス、および新しく開発されたラッソプロンプトを用いて、3D セグメンテーションを生成・段階的に修正できます。

技術的には、以下の2つのコンポーネントに分かれています：

• ローカル推論エンジン：PyTorch と NVIDIA GPU を必要とする完全なスタックで、ローカル処理用。
• リモートクライアント/サーバ：軽量クライアント（nninteractive-client）で、HTTP を介して GPU を搭載したリモートサーバを制御可能。GPU を搭載していないマシンでも、複雑な 3D セグメンテーションが行えます。

対象ユーザー

3D 医療画像を扱う研究者、開発者、臨床実務者で、正確でインタラクティブなセグメンテーションツールが必要な方々。Python ベースのワークフロー、または Napari、MITK、3D Slicer、ITK-SNAP、OHIF などの既存の画像処理プラットフォームへの統合を想定しています。

特徴

• 多様なプロンプト対応：点、スクライブ、2D バウンディングボックス、ラッソプロンプトをサポート。
• 体積認識：CT、MRI、PET など、3D 医療モダリティに特化して訓練済み。
• クライアント-サーバアーキテクチャ：軽量クライアントを介してリモート GPU 推論を可能に。
• 広範な統合：主要な医療画像ビューア向けの公式およびコミュニティ主導のプラグインを提供。
• 最先端技術：CVPR 2025 インタラクティブ 3D セグメンテーションチャレンジで1位を獲得。