에너지 기반 모델을 위한 암시적 생성 및 일반화 방법론

OpenAI는 에너지 기반 모델(EBMs)의 안정적이고 확장 가능한 학습 방법을 개발하여 샘플 품질과 일반화 능력을 향상시켰습니다. EBM은 각 입력 데이터 포인트에 정규화되지 않은 확률 스칼라, 즉 "에너지"를 할당함으로써 전통적인 생성 모델에 대한 유연한 대안을 제공하며, 반복적인 정제 과정을 통해 암시적 생성을 가능하게 합니다.

반복적 정제를 통한 암시적 생성

EBM은 Langevin dynamics를 기반으로 한 반복적 정제 프로세스를 사용하여 샘플을 암시적으로 생성합니다. 이는 에너지 함수에 대해 노이즈가 포함된 경사 하강법(noisy gradient descent)을 수행하여 낮은 에너지 상태에 도달하는 과정을 포함합니다. 이 접근 방식은 샘플 생성을 위해 명시적인 신경망을 필요로 하지 않기 때문에 GANs, VAEs, Flow-based 모델들과는 다릅니다.

암시적 생성 방법론의 세 가지 주요 기술적 장점:

• 적응형 계산 시간 (Adaptive Computation Time): 모델은 거친 샘플을 생성하기 위해 짧은 시간 동안 순차적 정제를 수행하거나, 날카롭고 다양한 샘플을 생성하기 위해 더 긴 시간 동안 수행할 수 있습니다. 무한한 시간의 한계에서, 이 절차는 에너지 모델로부터 실제 샘플을 생성하는 것으로 알려져 있습니다.
• 생성기 네트워크 제약으로부터의 자유 (Freedom from Generator Network Constraints): 연속적인 공간에서 데이터 모드의 잠재적으로 분리된 공간으로의 매핑을 학습해야 하는 VAEs 및 Flow-based 모델과 달리, EBM은 서로 떨어진 영역에 낮은 에너지를 쉽게 할당할 수 있습니다.
• 내장된 구성성 (Built-in Compositionality): EBM은 정규화되지 않은 확률 분포를 나타내므로, product of experts 또는 기타 계층적 구조를 사용하여 자연스럽게 결합될 수 있습니다.

생성 능력 및 응용 분야

EBM은 질적으로나 양적으로 높은 품질의 이미지를 생성할 수 있으며, 테스트 시 정제 프로세스가 더 오래 실행될수록 품질이 향상됩니다. OpenAI는 여러 응용 분야를 통해 이러한 능력을 입증했습니다:

• 이미지 조작 (Image Manipulation): 모델은 이미지 자동 완성(inpainting)을 수행하거나 한 클래스의 이미지를 다른 클래스로 변형(예: 트럭을 개구리로 변형)할 수 있습니다.
• 로봇 역학 (Robot Dynamics): EBM은 여러 타임스텝에 걸쳐 안정적인 로봇 역학 궤적을 생성할 수 있습니다. 피드포워드(feedforward) 모델이 종종 평균 예측값으로 수렴하는 것과 달리, EBM은 동일한 시작 상태에서 실행 가능한 다양한 미래 궤적을 생성할 수 있습니다.

일반화 및 강건성

에너지 기반 모델은 Flow-based 및 autoregressive 모델과 같은 가능도 기반 모델(likelihood models)에 비해 분포 외(out-of-distribution) 데이터셋을 포함하는 분류 작업에서 우수한 성능을 보여줍니다.

또한, 조건부 EBM은 적대적 섭동(adversarial perturbations)에 대해 강력한 일반화 능력을 보여줍니다. OpenAI는 EBM이 분류를 위해 특별히 학습되지 않았음에도 불구하고, 적대적 섭동에 대해 명시적으로 학습된 모델보다 분류 성능이 더 뛰어남을 확인했습니다.

학습 과정에서의 관찰 및 교훈

OpenAI는 EBM 학습 과정에서 몇 가지 도전 과제와 관찰 사항을 발견했습니다:

• HMC의 한계 (HMC Limitations): 최적의 스텝 사이즈와 leapfrog simulation 횟수가 학습 과정 동안 크게 변동하기 때문에, Vanilla Hamiltonian Monte Carlo (HMC)를 EBM 학습에 적용하기는 어려웠습니다.
• 앙상블 학습 (Ensemble Training): 에너지 함수의 앙상블을 학습시키는 것은 약간의 이점을 제공했지만, 추가적인 복잡성을 정당화할 만큼 충분하지는 않았습니다.
• 경사도 페널티 (Gradient Penalties): 경사도 페널티 항을 추가하는 것은 샘플링과 모델 용량 모두를 저해하는 것으로 나타나, 성공적이지 못한 것으로 판명되었습니다.

향후 방향: 구성성 (Compositionality)

예비 결과에 따르면 여러 EBM을 product of experts 모델을 통해 구성할 수 있습니다. 2D 실험에서 OpenAI는 고정된 위치에서 다양한 크기의 도형을 학습한 모델과, 동일한 크기의 도형을 다양한 위치에서 학습한 변형 모델을 학습시켰습니다. 이 시스템은 두 변수가 동시에 변하는 사례를 본 적이 없었음에도 불구하고, 다양한 위치에 있는 다양한 크기의 도형을 생성할 수 있었습니다.