dc-ai-projects/DC-Gen

해결하는 문제

DC-Gen은 현대의 고해상도 비주얼 확산 모델과 관련된 낮은 처리량과 높은 계산 비용 문제를 해결합니다. 특히, 네이티브 4K 이미지 생성에 필요한 훈련 및 추론 비용이 지나치게 높은 문제와, 자동 인코더를 변경할 때마다 확산 모델을 처음부터 다시 훈련해야 하는 비효율성을 해결합니다.

작동 방식

DC-Gen은 가벼운 사후 훈련을 사용하여 사전 훈련된 확산 모델을 극도로 압축된 잠재 공간으로 이전하는 가속 프레임워크입니다. '임베딩 정렬(Embedding Alignment)'이라는 프로세스를 통해 기존 모델의 지식을 새로운 잠재 공간으로 전이함으로써, 초기에 확산 모델의 가중치를 미세 조정할 필요 없이 올바른 의미를 유지할 수 있습니다. 이후 품질은 LoRA 미세 조정을 통해 완전히 복원됩니다. 이 접근법은 토큰 중복을 줄여 추론 속도를 크게 향상시키고, 네이티브 슈퍼리졸루션 기능을 가능하게 합니다.

대상 사용자

이 프로젝트는 고해상도 이미지(최대 4K) 또는 동영상을, 기존 모델의 시각적 품질이나 텍스트 렌더링 능력을 희생하지 않고 더 효율적으로 생성하고자 하는 연구자 및 개발자에게 적합합니다.

주요 특징

• 극적인 속도 향상: H100 GPU에서 4K 해상도에서 최대 53.8배 빠른 추론을 달성.
• 다양한 적용 가능성: 텍스트에서 이미지, 텍스트에서 동영상, 이미지에서 동영상, 이미지 편집 작업 등 다양한 태스크에서 검증됨.
• 네이티브 4K 지원: 이전에는 비용이 지나치게 높아 구현이 어려웠던 FLUX 및 Z-Image와 같은 모델에 대해 네이티브 슈퍼리졸루션 이미지 생성을 가능하게 함.
• 효율적인 적응: 전체 재훈련 없이도 새로운 자동 인코더에 적응할 수 있도록 임베딩 정렬과 LoRA 미세 조정을 활용.