lucidrains/denoising-diffusion-pytorch

해결하는 문제

이 프로젝트는 Denoising Diffusion Probabilistic Models (DDPM)의 PyTorch 구현을 제공합니다. 이는 노이즈 추가 프로세스를 역전시키는 방법을 학습하여 고품질 데이터 샘플을 생성함으로써 GAN에 필적하는 성능을 내도록 설계된 생성 모델링 접근 방식입니다.

작동 원리

이 시스템은 denoising score matching을 사용하여 데이터 분포의 그래디언트를 추정하고, Langevin sampling을 사용하여 실제 분포에서 샘플을 생성합니다. 데노이징 프로세스를 위해 U-Net 아키텍처를 특징으로 하며, 2D 이미지 생성과 1D 시퀀스 생성을 모두 지원합니다.

대상 사용자

생성형 AI를 다루는 연구자 및 개발자, 특히 이미지 또는 시퀀스를 위한 유연한 PyTorch 기반 확산 모델 구현을 찾는 분들을 대상으로 합니다.

주요 특징

• 이중 모달리티 지원: 2D 이미지 (GaussianDiffusion)와 1D 시퀀스 (GaussianDiffusion1D) 구현을 모두 포함합니다.
• 단순화된 학습: 학습 루프, 로깅 및 이미지 폴더로부터의 체크포인팅을 처리하는 Trainer 클래스를 제공합니다.
• 고급 학습 기술: 혼합 정밀도 (AMP), 지수 이동 평균 (EMA) 감쇠 및 Hugging Face Accelerator를 통한 멀티 GPU 학습을 지원합니다.
• 탐색적 모델링: 학습 중 멀티 후보 손실 계산을 위한 XMWrapper를 포함합니다.
• 효율성: 더 빠르고 메모리 효율적인 처리를 위해 Flash Attention을 통합했습니다.