worldbench/DiffusionOPSD
🔥 On-Policy Self-Distillation in Diffusion Models
해결하는 문제
확산 보상 최적화는 일반적으로 전체 다단계 노이즈 제거 과정이 끝난 후에만 점수를 제공하므로, 모델이 중간 예측을 어떻게 개선해야 하는지 알지 못하는 "감독 격차"가 발생합니다. DiffusionOPSD는 이미지 수준의 보상을 명시적인 중간 목표로 전환하여 훈련 중 모델이 따를 수 있도록 함으로써 이 격차를 해소합니다.
작동 방식
이 프로젝트는 온폴리시 자기 증류 루프를 구현합니다:
- 쿼리 수집: 고정된 "행동 정책"이 궤적을 생성하고 저잡음 쿼리 상태를 선택합니다.
- 목표 구성: 시스템이 깨끗한 출력 앵커를 계산하고, 미분 가능한 보상 그래디언트를 사용하여 해당 앵커 주변에 경계가 있는 긍정(보상 상승) 및 부정(보상 하강) 목표를 생성합니다.
- 유한 피팅: 훈련 가능한 정책이 이러한 분리된 목표에 피팅하여 목표의 품질과 모델이 이를 실현하는 능력을 분리합니다.
- 갱신: 지수 이동 평균(EMA)이 행동 정책을 업데이트하고, 새로운 궤적으로 프로세스를 반복합니다.
대상 독자
확산 모델의 보상 기반 후속 훈련을 연구하며 이미지 품질과 훈련 효율성을 향상시키고자 하는 연구자와 개발자.
하이라이트
- 온폴리시 감독: 오프라인 대체물이 아닌 현재 모델이 실제로 방문한 상태를 사용합니다.
- 명시적 목표: 스칼라 보상을 구체적인 긍정 및 부정 깨끗한 출력 목표로 변환합니다.
- 높은 효율성: DiffusionNFT와 비교하여 훈련 GPU 시간을 40%에서 63%까지 절감합니다.
- 폭넓은 호환성: SD3.5-M 및 Z-Image-Turbo 백본을 지원하며, 일곱 가지 다양한 보상 평가기(예: PickScore, HPSv3, DeQA)를 포괄합니다.
- 혼합 보상 훈련: 여러 보상 모델의 가중 합을 동시에 사용하여 훈련하는 기능.
관련
- 프로젝트
- 프로젝트
- Dispatch
- Dispatch
- Dispatch