databricks-industry-solutions/pixels

Facilitates simple large scale processing of HLS Medical images, documents, zip files. OHIF Viewer, 2 segmentation models and interactive learning.

解決する課題

医療用画像データ、特に DICOM ファイルは、データベースではなく非構造化ファイルとして保存されるため、大規模な分析が困難な場合が多くあります。このプロジェクトは、数百万枚の医療用画像を構造化された SQL でアクセス可能なメタデータに変換することでそのギャップを埋め、病院や研究者が大規模な分析、AI モデルのトレーニング、安全な可視化を行えるようにします。

仕組み

このソリューションは、専用のライブラリを使用してクラウドストレージから DICOM ファイルを取り込み、技術メタデータを抽出して Databricks テーブルに保存します。OHIF 医療ビューアと統合されており、ユーザーは画像のラベル付け、NVIDIA の MONAI フレームワークを使用した AI 支援セグメンテーションのトリガー、GPU 対応クラスターでのリアルタイム推論の実行が可能です。すべてのデータアクセスは Unity Catalog によって管理され、組み込みの匿名化機能を通じて機密性の高い患者情報が保護されます。

対象ユーザー

このツールは、医療用画像の拡張可能なパイプラインの構築、画像セグメンテーションの自動化、または Databricks Data Intelligence Platform を使用した臨床研究用ダッシュボードの作成を必要とする、ヘルスケアデータエンジニア、放射線科医、および医療 AI 研究者向けに設計されています。

ハイライト

  • スケーラブルな取り込み: Spark を使用して数百万の DICOM ファイルを処理し、ストリーミングと自動解凍をサポートします。
  • AI 対応: NVIDIA MONAI との統合が組み込まれており、自動画像セグメンテーションとカスタムモデルのトレーニングが可能です。
  • 安全な可視化: データアクセス制御を尊重し、NIfTI セグメンテーションオーバーレイをサポートする Web ベースの DICOM ビューア (OHIF) が含まれています。
  • プライバシー優先: 形式保持暗号化を使用した自動メタデータ匿名化を提供し、コンプライアンスを確保します。
  • SQL アクセス可能: 複雑な画像ヘッダーを標準テーブルに変換し、SQL を介したコホート構築やダッシュボード作成を容易にします。

関連

  • プロジェクト
    databricks/databricks-sdk-py

    Databricks REST API をすべてラップする Python クライアントライブラリ。認証（PAT、Azure、GCP、OIDC）、リトライ、ページネーション、長時間実行操作を処理し、クラスタ、ジョブ、Unity Catalog、その他の Lakehouse リソースをプログラムで制御可能にします。

  • プロジェクト
    databricks-demos/dbdemos

    dbdemos は、pip でインストール可能な Python ツールキットで、Databricks Lakehouse デモバンドルのセットアップを自動化します。1つのコマンドでノートブック、クラスタ、パイプライン、ダッシュボード、およびオプションのMLモデルをインストールできます。

  • プロジェクト
    pipeshub-ai/pipeshub-ai

    PipesHubは、エンタープライズデータソース（Slack、Google Drive、GitHubなど）をAIアプリケーションに接続するオープンソースのセルフホスト可能なプラットフォームです。権限を認識したナレッジグラフを構築し、ベクトル埋め込みを保存し、任意のLLMが引用付きの説明可能な回答を生成できるようにします。このプロジェクトには、Docker-Composeデプロイ、ノーコードエージェントビルダー、MCPサポート、Python、TypeScript、Go用のSDKが含まれています。

  • プロジェクト
    abstractqqq/polars_ds_extension

    PDSは、Polarsデータフレームライブラリにデータサイエンス機能（並列MLメトリクス、高速な即時回帰モデル、文字列/配列の距離関数、統計検定、便利な集計、再利用可能なデータ変換パイプライン、最近傍クエリ、Pandasデータフレームとの互換性）を追加するPythonパッケージです。`pip install polars-ds`でインストールでき、Polars ≥ 1.4.0が必要です。

  • プロジェクト
    Trampoline-AI/predict-rlm

    predict-rlmは、大規模言語モデル（LLM）にサンドボックス化されたステートフルな実行環境を提供するPythonライブラリです。モデルはPythonコードの記述と実行、可変状態の保持、特定のサブモデルの呼び出し、およびツールやスキル（PDF処理、スプレッドシートなど）の利用が可能です。このフレームワークは観測可能性のために完全なトレースを記録し、そのトレースをGEPAのような最適化ツールに供給できます。文書分析、監査、スプレッドシートの自動化といった複雑な多段階ワークフローを対象としており、オプションのDockerサンドボックスや豊富なコールバックをサポートしています。