chaofengc/IQA-PyTorch

해결하는 문제

PyIQA는 이미지 품질 평가(IQA)를 위한 포괄적인 도구상자로, 이미지의 '클리어함' 또는 고품질 정도를 통합된 방식으로 측정할 수 있는 방법을 제공합니다. 과거에는 품질 지표가 분산된 형태로 구현되어 MATLAB로 작성된 경우가 많았으며, 성능이 느렸습니다. 본 프로젝트는 이러한 지표들을 순수한 Python과 PyTorch로 재구현함으로써 GPU 가속 기능과 함께, 전반적인 참조(FR) 및 비참조(NR) 지표에 대한 표준화된 인터페이스를 제공합니다.

작동 방식

이 도구상자는 LPIPS, SSIM, FID와 같은 사전 구현된 지표 라이브러리와 빠른 테스트를 위한 명령줄 인터페이스를 제공합니다. 사용자는 pyiqa.create_metric를 통해 지표를 생성할 수 있으며, 간단한 점수 추론이나 학습 파이프라인 내 손실 함수로 사용할 수 있습니다(as_loss=True 옵션). 또한 인기 있는 IQA 데이터셋을 로드하는 내장 지원 기능과 다양한 데이터셋에서의 성능을 벤치마킹하기 위한 스크립트도 포함되어 있습니다.

대상 사용자

컴퓨터 비전, 이미지 복원, 생성형 AI 분야에서 일하는 연구자 및 개발자로, 이미지 품질을 객관적으로 측정하거나 생성 모델을 평가하거나, 모델 학습 중에 품질 지표를 미분 가능한 손실 함수로 사용하고자 하는 분들입니다.

주요 특징

• GPU 가속: 기존 MATLAB 구현보다 훨씬 빠릅니다.
• 포괄적인 지표 라이브러리: 다양한 종류의 전반적 참조(FR), 비참조(NR), 미적, 얼굴 특화 IQA 지표를 지원합니다.
• 미분 가능: 많은 지표가 역전파를 위한 손실 함수로 사용 가능합니다.
• 데이터셋 통합: Hugging Face를 통해 인기 있는 IQA 데이터셋을 간편하게 로드하고 다운로드할 수 있습니다.
• 확장성: 사용자 정의 데이터셋, 아키텍처, 지표를 추가할 수 있는 플러그인 개발 실험적 지원이 제공됩니다.