hanna-xu/U2Fusion

Code of U2Fusion: a unified unsupervised image fusion network for multiple image fusion tasks, including multi-modal, multi-exposure and multi-focus image fusion.

解決する課題

U2Fusion は、単一の統合されたネットワークで複数の画像融合タスクを処理するために設計されています。可視光と赤外線 (VIS-IR) 画像、医療画像、異なる露光の画像、異なるフォーカスレベルの画像など、同じシーンの異なる画像からの情報を1枚の高品質な画像に結合するという課題を解決します。

仕組み

教師なし画像融合ネットを使用します。これは、訓練用にペアになったグラウンドトゥルースラベルを必要とせずに画像の統合を学習できることを意味します。これは、完全な参照画像が得られないことが多い画像融合タスクにおいて重要な利点です。

対象者

コンピュータビジョンと画像処理に取り組む研究者や開発者、特にシーン理解を向上させるためにマルチモーダルまたは多重露光画像を統合する必要がある方。

ハイライト

  • 統合アーキテクチャ：単一のネットワークで VIS-IR、医療、多重露光、およびマルチフォーカス融合を処理できます。
  • 教師なし学習：ラベル付き訓練データの必要性を排除します。
  • PyTorch 実装が利用可能：プロジェクトは PyTorch ユーザー向けに個別のリポジトリを提供しています。

関連

  • プロジェクト
    Linfeng-Tang/SwinFusion

    SwinFusion is a Swin Transformer-based framework for general image fusion that combines information from multiple source images across various domains, such as infrared, visible, and medical imaging.

  • プロジェクト
    Linfeng-Tang/Image-Fusion

    マルチモーダル、デジタル写真、リモートセンシング画像の組み合わせ技術をカバーする、画像融合に関する研究論文とコード実装の包括的コレクション。

  • プロジェクト
    nagadomi/nunif

    画像の超解像、VR向け2Dから3D動画変換、データセットフィルタリングのための画像品質評価を実現するPyTorchベースのツールのコレクション。

  • プロジェクト
    SkyworkAI/UniPic

    画像編集、生成、理解のための統一マルチモーダルモデルシリーズ。高速マルチイメージ編集と自己回帰モデリングを特徴とする。

  • プロジェクト
    Linfeng-Tang/SeAFusion

    オブジェクト検出やセマンティックセグメンテーションなどの高レベルビジョンタスクに最適化された、赤外線と可視画像を融合するセマンティック認識型リアルタイムネットワーク。