lucidrains/autoregressive-diffusion-pytorch

해결하는 문제

이 프로젝트는 많은 자기회귀 이미지 모델에서 흔히 요구되는 벡터 양자화(VQ) 없이 이미지를 생성하는 방법을 구현합니다. 확산 기반 접근 방식을 사용하여 이미지 데이터를 토큰 시퀀스로 취급하여 생성할 수 있게 합니다.

작동 방식

이 라이브러리는 "Autoregressive Image Generation without Vector Quantization" 논문에 설명된 아키텍처의 PyTorch 구현을 제공합니다. 이미지를 패치(토큰) 시퀀스로 취급하고 자기회귀 확산 프로세스를 적용하여 생성합니다. 또한 대안적인 생성 경로를 위해 flow matching(via ImageAutoregressiveFlow)을 사용한 개선된 버전도 포함되어 있습니다.

대상

생성형 AI를 연구하는 연구자 및 개발자, 특히 이미지 합성 및 전통적인 VQ 기반 자기회귀 모델의 대안적인 아키텍처에 관심이 있는 분들을 위한 프로젝트입니다.

주요 특징

• 벡터 양자화 없는 이미지 생성을 지원합니다.
• 이미지 데이터셋에 대한 학습 과정을 간소화하기 위한 전용 ImageTrainer를 포함합니다.
• 표준 자기회귀 확산 및 flow-matching 버전을 모두 제공합니다.
• 탐색적 모델링을 지원하여 타임스텝당 여러 후보 중 최적의 후보를 대상으로 학습할 수 있습니다.