databricks-industry-solutions/pixels

Facilitates simple large scale processing of HLS Medical images, documents, zip files. OHIF Viewer, 2 segmentation models and interactive learning.

해결 과제

의료 영상 데이터, 특히 DICOM 파일은 데이터베이스가 아닌 비정형 파일로 저장되는 경우가 많아 대규모 분석이 어렵습니다. 이 프로젝트는 수백만 개의 의료 영상을 구조화된 SQL 접근 가능 메타데이터로 변환하여 이러한 격차를 해소하며, 병원과 연구자가 대규모 분석, AI 모델 학습 및 안전한 시각화를 수행할 수 있도록 지원합니다.

작동 방식

이 솔루션은 특수 라이브러리를 사용하여 클라우드 스토리지에서 DICOM 파일을 수집하고 기술 메타데이터를 추출하여 Databricks 테이블에 저장합니다. OHIF 의료 뷰어와 통합되어 사용자가 이미지에 라벨을 지정하고, NVIDIA의 MONAI 프레임워크를 사용하여 AI 지원 세그멘테이션을 트리거하며, GPU 지원 클러스터에서 실시간 추론을 실행할 수 있습니다. 모든 데이터 액세스는 Unity Catalog에 의해 관리되며, 내장된 익명화 기능을 통해 민감한 환자 정보가 보호됩니다.

대상 사용자

이 도구는 의료 영상에 대한 확장 가능한 파이프라인을 구축하고, 이미지 세그멘테이션을 자동화하거나, Databricks Data Intelligence Platform을 사용하여 임상 연구용 대시보드를 만들어야 하는 헬스케어 데이터 엔지니어, 영상의학과 전문의 및 의료 AI 연구자를 위해 설계되었습니다.

주요 특징

  • 확장 가능한 수집: Spark를 사용하여 수백만 개의 DICOM 파일을 처리하며, 스트리밍 및 자동 압축 해제를 지원합니다.
  • AI 준비 완료: NVIDIA MONAI와의 통합이 내장되어 있어 자동 이미지 세그멘테이션 및 사용자 지정 모델 학습이 가능합니다.
  • 안전한 시각화: 데이터 액세스 제어를 준수하고 NIfTI 세그멘테이션 오버레이를 지원하는 웹 기반 DICOM 뷰어(OHIF)가 포함되어 있습니다.
  • 개인정보 보호 우선: 형식 보존 암호화를 사용하는 자동 메타데이터 익명화 기능을 제공하여 규정 준수를 보장합니다.
  • SQL 접근 가능: 복잡한 이미지 헤더를 표준 테이블로 변환하여 SQL을 통한 코호트 구축 및 대시보드 작성을 용이하게 합니다.

관련

  • 프로젝트
    databricks/databricks-sdk-py

    모든 Databricks REST API를 래핑하는 Python 클라이언트 라이브러리로, 인증(PAT, Azure, GCP, OIDC), 재시도, 페이지네이션, 장시간 실행 작업을 처리하여 클러스터, 작업, 유니티 카탈로그 및 기타 Lakehouse 리소스를 프로그래밍 방식으로 제어할 수 있게 합니다.

  • 프로젝트
    databricks-demos/dbdemos

    dbdemos는 pip 설치 가능한 Python 툴킷으로, Databricks Lakehouse 데모 번들을 자동 설정합니다. 단일 명령어로 노트북, 클러스터, 파이프라인, 대시보드 및 선택적 ML 모델을 설치할 수 있습니다.

  • 프로젝트
    pipeshub-ai/pipeshub-ai

    PipesHub는 엔터프라이즈 데이터 소스(Slack, Google Drive, GitHub 등)를 AI 애플리케이션에 연결하는 오픈소스, 셀프 호스팅 가능한 플랫폼입니다. 권한 인식 지식 그래프를 구축하고, 벡터 임베딩을 저장하며, 모든 LLM이 인용과 함께 설명 가능한 답변을 생성할 수 있게 합니다. 이 프로젝트에는 Docker-Compose 배포, 노코드 에이전트 빌더, MCP 지원, Python, TypeScript, Go용 SDK가 포함됩니다.

  • 프로젝트
    abstractqqq/polars_ds_extension

    PDS는 Polars 데이터프레임 라이브러리에 데이터 과학 기능을 확장하는 Python 패키지입니다: 병렬 ML 메트릭, 빠른 즉석 회귀 모델, 문자열/배열 거리 함수, 통계 검정, 편리한 집계, 재사용 가능한 데이터 변환 파이프라인, 최근접 이웃 쿼리 및 Pandas 데이터프레임과의 호환성을 제공합니다. `pip install polars-ds`를 통해 설치하며 Polars ≥ 1.4.0이 필요합니다.

  • 프로젝트
    Trampoline-AI/predict-rlm

    predict-rlm은 대규모 언어 모델(LLM)에 샌드박스화된 상태 유지 런타임을 제공하는 Python 라이브러리입니다. 모델은 Python 코드를 작성 및 실행하고, 가변 상태를 유지하며, 특정 하위 모델을 호출하고, 도구 및 기술(PDF 처리, 스프레드시트 등)을 사용할 수 있습니다. 이 프레임워크는 관측 가능성을 위해 전체 추적을 기록하며, 해당 추적을 GEPA와 같은 최적화 도구에 공급할 수 있습니다. 문서 분석, 감사, 스프레드시트 자동화와 같은 복잡한 다단계 워크플로우를 대상으로 하며, 선택적 Docker 샌드박스 및 풍부한 콜백을 지원합니다.