MIC-DKFZ/nnInteractive

해결하는 문제

nnInteractive는 3D 프롬프트 가능 세그멘테이션을 위한 프레임워크로, 특히 3D 의료 영상(CT, MRI, PET, 3D 마이크로스코피)에 특화되어 있습니다. SAM과 같은 2D 기반 모델은 3D 의료 데이터에 적용할 때 종종 체적 인식 부족과 도메인 전이 문제를 겪기 때문에, 이 프로젝트는 개방형 세그멘테이션 방법을 제공하여 사용자가 직관적인 2D 상호작용을 통해 3D 세그멘테이션을 보정할 수 있도록 합니다.

작동 방식

이 시스템은 120개 이상의 다양한 체적 3D 데이터셋으로 훈련된 모델을 활용합니다. 사용자는 점, 스케치, 2D 경계상자, 그리고 새로운 라소 프롬프트를 제공하여 3D 세그멘테이션을 생성하고 점진적으로 개선할 수 있습니다.

기술적으로 두 가지 구성 요소로 나뉩니다:

• 로컬 추론 엔진: PyTorch와 NVIDIA GPU가 필요한 완전한 스택으로 로컬 처리용입니다.
• 원격 클라이언트/서버: HTTP를 통해 GPU 기반 원격 서버를 제어할 수 있는 경량 클라이언트(nninteractive-client)로, GPU가 없는 기계에서도 복잡한 3D 세그멘테이션을 수행할 수 있습니다.

대상 사용자

3D 의료 영상 작업에 종사하는 연구자, 개발자, 임상 전문가로, 정확하고 인터랙티브한 세그멘테이션 도구가 필요한 분들입니다. Python 기반 워크플로우 또는 Napari, MITK, 3D Slicer, ITK-SNAP, OHIF와 같은 기존 영상 플랫폼에 통합하기 위해 설계되었습니다.

주요 특징

• 다양한 프롬프트 지원: 점, 스케치, 2D 경계상자, 라소 프롬프트를 지원합니다.
• 체적 인식: CT, MRI, PET 등 3D 의료 모달리티에 특화되어 훈련되었습니다.
• 클라이언트-서버 아키텍처: 경량 클라이언트를 통해 원격 GPU 추론을 가능하게 합니다.
• 광범위한 통합: 주요 의료 영상 뷰어용 공식 및 커뮤니티 주도 플러그인 제공.
• 최신 기술: CVPR 2025 인터랙티브 3D 세그멘테이션 챌린지에서 1위 수상.