Linfeng-Tang/Image-Fusion

Deep Learning-based Image Fusion: A Survey

解决的问题

本仓库作为图像融合(将多个源图像,如红外与可见光、多曝光或多焦点图像,融合为一张保留各图像最显著特征的合成图像)相关研究论文、数据集和实现的全面集合,提供系统性资源。

如何工作

该项目按主要目的和技术方法对大量图像融合方法进行了分类整理:

  • 多模态融合:聚焦于不同传感器类型(如红外热成像与可见光图像)的融合,常用于目标检测与监控。
  • 数字摄影融合:包括多曝光与多焦点融合,用于提升动态范围或景深。
  • 遥感图像融合:涵盖全色锐化(Pansharpening)技术,以增强卫星影像分辨率。
  • 技术框架:追踪使用多种架构的方法,包括卷积神经网络(CNN)、Transformer、生成对抗网络(GAN)、扩散模型和视觉-语言模型(VLM)。

适用人群

  • 计算机视觉研究人员:研究低层视觉、图像处理及多模态数据融合的学者。
  • AI工程师:希望在机器人、监控或医学影像领域使用最先进(SOTA)图像融合算法实现的开发者。
  • 学生:希望从早期自编码器到现代基于扩散模型的可控融合,系统学习该领域的学习者。

亮点

  • 全面的分类体系:将方法分为视觉导向、语义驱动、联合配准-融合、退化鲁棒融合等类别。
  • VLM集成:追踪利用大视觉模型和语言驱动提示实现可控图像融合的最新趋势。
  • 丰富的资源:提供数十篇发表于CVPR、TPAMI、NeurIPS等顶级会议的高影响力论文及其代码的直接链接。

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • 项目