wafer-bob/ASASR

해결하는 문제

ASASR는 많은 생성형 SR 방법에서 흔히 발생하는 인공적인 아티팩트를 유발하지 않고 구조적 충실도와 스펙트럼 일관성을 유지하면서 저해상도 이미지를 확대하는 '충실한' 이미지 슈퍼레졸루션(SR) 문제를 해결합니다.

작동 방식

FLUX.1-dev 백본을 기반으로 하며, 기본 SR 사전 지식과 DPO 개선을 위한 이중 LoRA 추론 파이프라인을 사용하여 이미지를 재구성합니다. 세 가지 주요 기술적 혁신을 도입합니다:

1. 색상 노이즈 흐름(Colored-Noise Flow): 표준 가우시안 노이즈 대신 자연 이미지 다양체와 일치하는 스펙트럼 형상 커널을 사용합니다.
2. 소볼레프 유도 기하학(Sobolev-Induced Geometry, S-DPO): 리만 계량과 주파수 가중 Direct Preference Optimization(DPO)를 사용하여 고주파 구조를 더 잘 보존합니다.
3. 적대적 다각체 안내(Adversarial Manifold Guidance, AMG): 기준 SR 아티팩트를 모방하도록 훈련된 적대적 네트워크를 사용하여 DPO 프로세스를 더 충실한 재구성으로 유도하는 '하드 네거티브'를 생성합니다.

대상 사용자

이미지 복원, 슈퍼레졸루션, 생성형 AI에 종사하는 연구자 및 개발자로, 일반적인 생성형 환각이나 아티팩트를 피하는 고정밀 확대가 필요한 분들입니다.

주요 특징

• 최고 수준 성능: DIV2K-Val(Real-ESRGAN ×4)에서 최고 수준, RealSR에서는 3위.
• 이중 LoRA 아키텍처: 기본 SR LoRA와 DPO 개선 LoRA를 결합하여 균형 잡힌 재구성 가능.
• 적대적 훈련: 선별 최적화를 위한 현실적인 실패 사례를 합성하기 위해 특수한 적대적 네트워크 사용.
• 포괄적인 평가: PSNR, SSIM, LPIPS에 더해 비참조 품질 평가(MANIQA, MUSIQ, CLIPIQA+)를 포함한 종합적인 메트릭 세트.