Linfeng-Tang/Image-Fusion

Deep Learning-based Image Fusion: A Survey

解決的問題

本倉儲庫作為影像融合(將多個來源影像,例如紅外線與可見光、多曝光或多焦點影像,融合為一張保留各影像最顯著特徵的合成影像)相關研究論文、資料集與實作的全面集合,提供系統性資源。

如何運作

此專案依主要目的與技術方法,對大量影像融合方法進行分類整理:

  • 多模態融合:專注於不同感測器類型(如紅外線(熱)影像與可見光影像)的融合,常應用於目標偵測與監控。
  • 數位攝影融合:包含多曝光與多焦點融合,用於提升動態範圍或景深。
  • 遙測影像融合:涵蓋全色銳化(Pansharpening)技術,以增強衛星影像解析度。
  • 技術架構:追蹤使用多種架構的方法,包括卷積神經網絡(CNN)、Transformer、生成對抗網絡(GAN)、擴散模型與視覺-語言模型(VLM)。

適用對象

  • 電腦視覺研究人員:研究低階視覺、影像處理及多模態資料整合的學者。
  • AI工程師:希望在機器人、監控或醫學影像領域使用最尖端(SOTA)影像融合演算法實作的開發者。
  • 學生:希望從早期自編碼器到現代基於擴散模型的可控融合,系統學習該領域的學習者。

亮點

  • 全面的分類體系:將方法分為視覺導向、語義驅動、聯合配準-融合、退化魯棒融合等類別。
  • VLM整合:追蹤利用大型視覺模型與語言驅動提示實現可控影像融合的最新趨勢。
  • 豐富的資源:提供數十篇發表於CVPR、TPAMI、NeurIPS等頂級會議的高影響力論文及其程式碼的直接連結。

相關

  • 專案
  • 專案
  • 專案
  • 專案
  • 專案