Linfeng-Tang/Image-Fusion

해결하는 문제

이 저장소는 여러 소스 이미지(예: 적외선과 가시광선, 다중 노출, 다중 초점 이미지 등)를 하나의 복합 이미지로 통합하는 이미지 융합(Image Fusion)에 대한 포괄적인 연구 논문, 데이터셋, 구현체를 제공합니다. 각 이미지에서 가장 중요한 특징을 유지하는 단일 복합 이미지를 생성합니다.

작동 방식

이 프로젝트는 주요 목적과 기술적 접근 방식에 따라 분류된 방대한 이미지 융합 방법 라이브러리를 정리합니다.

• 다중 모달 융합: 적외선(열) 이미지와 가시광선 이미지와 같은 다양한 센서 유형을 통합하는 것으로, 주로 타겟 탐지 및 감시에 사용됩니다.
• 디지털 사진 융합: 다중 노출 및 다중 초점 융합을 포함하여 동적 범위 또는 심도를 개선합니다.
• 원격 탐사 융합: 위성 영상의 해상도를 향상시키기 위한 팬 샤프닝(Pansharpening)을 포함합니다.
• 기술 프레임워크: 컨볼루션 신경망(CNN), 트랜스포머, 생성적 적대 신경망(GAN), 확산 모델, 시각-언어 모델(VLM) 등 다양한 아키텍처를 사용한 방법을 추적합니다.

대상 사용자

• 컴퓨터 비전 연구자: 저수준 비전, 이미지 처리, 다중 모달 데이터 통합을 연구하는 분들.
• AI 엔지니어: 로봇공학, 감시, 의료 영상 등에 사용할 최신(SOTA) 이미지 융합 알고리즘 구현을 찾는 개발자.
• 학생: 초기 오토인코더부터 현대의 확산 기반 제어 가능 융합까지, 분야의 체계적인 조사를 원하는 학습자.

주요 특징

• 포괄적인 분류 체계: 시각 중심, 의미 기반, 결합 등록-융합, 열화 내성 융합 등으로 방법을 분류합니다.
• VLM 통합: 대규모 시각 모델과 언어 기반 프롬프트를 활용한 제어 가능한 이미지 융합의 최신 트렌드를 추적합니다.
• 포괄적인 자원: CVPR, TPAMI, NeurIPS 등 주요 학회에 게재된 수십 개의 영향력 있는 논문에 대한 논문 및 코드 링크를 제공합니다.