OpenAI Consistency Models: 빠른 단일 단계 생성 AI

OpenAI는 Consistency Models라는 새로운 계열의 생성 모델을 소개했습니다. 이 모델은 노이즈를 데이터에 직접 매핑함으로써 고품질의 단일 단계 생성을 가능하게 하여, 기존 확산 모델에서 요구되는 느린 반복 샘플링 과정을 극복합니다.

Technical Approach: 직접 노이즈-데이터 매핑

Consistency Models는 노이즈를 데이터에 직접 매핑하여 설계상 빠른 단일 단계 생성을 가능하게 합니다. 여러 번의 반복을 통해 샘플을 정제해야 하는 확산 모델과 달리, Consistency Models는 한 단계만에 고품질 출력을 생성할 수 있습니다. 그러나 여전히 유연성을 유지하며, 다단계 샘플링을 지원해 사용자가 더 높은 샘플 품질을 위해 계산량을 늘릴 수 있도록 합니다.

Training Methods: 증류와 독립 학습

Consistency Models는 두 가지 별도 학습 경로를 통해 배포될 수 있습니다:

  1. Distillation: 사전 학습된 확산 모델을 증류하여 학습할 수 있으며, 기존 확산 기반 지식을 활용해 생성을 가속화합니다.
  2. Standalone Training: 기존 확산 모델이 없어도 처음부터 독립적인 생성 모델로 학습할 수 있습니다.

Capabilities and Zero-Shot Data Editing

단순 생성 외에도 Consistency Models는 특정 기능에 대한 별도 학습 없이 제로샷 데이터 편집 작업을 지원합니다. 이러한 기능에는 다음이 포함됩니다:

  • Image Inpainting: 이미지의 누락된 부분을 채우기.
  • Colorization: 흑백 이미지에 색을 입히기.
  • Super-resolution: 이미지 해상도를 높이기.

Performance Benchmarks

Consistency Models는 단일 및 소수 단계 샘플링에서 기존 확산 모델에 대한 증류 기법보다 뛰어난 성능을 보입니다. 독립 모델로 학습될 경우, 표준 벤치마크에서 기존 단일 단계 비적대적 생성 모델보다 우수한 성능을 기록합니다.

단일 단계 생성에 대한 최신 FID 점수는 다음과 같습니다:

  • CIFAR-10: 3.55 FID
  • ImageNet 64x64: 6.20 FID

실험은 CIFAR-10, ImageNet 64x64, LSUN 256x256 등 표준 벤치마크를 대상으로 수행되었습니다.

Sources