AlibabaResearch/SparkDiffusion

해결하는 문제

SparkDiffusion은 Diffusion Transformer (DiT) 동영상 생성 모델의 추론을 가속화하기 위한 프레임워크로, 특히 Wan 2.1 및 Wan 2.2 모델을 대상으로 합니다. 밀도 높은 다단계 생성의 높은 계산 비용을 해결하여 단일 GPU에서 최대 265배 빠른 추론을 가능하게 하면서도 생성 품질을 유지합니다.

작동 방식

이 프레임워크는 가속화를 달성하기 위해 세 가지 접근 방식을 채택합니다.

1. 스파스 저랭크 어텐션 (RoLa): 학습 및 추론 모두에서 어텐션 메커니즘의 복잡도를 줄이는 효율적인 어텐션 설계입니다.
2. 소수 단계 증류 (CrossDistill): 궤적 수준의 하이브리드 증류 기술로, 고품질의 동영상을 훨씬 적은 단계 수(예: 3~4단계)로 생성할 수 있게 합니다.
3. 사용자 정의 고성능 연산자: 외부 종속성 없이 자체 개발한 추론 연산자로, 스파스 어텐션 메커니즘의 실행을 최적화합니다.

또한, 가중치-활성화 양자화를 지원하며, 스파스 어텐션의 미세조정 및 증류를 위한 엔드투엔드 파이프라인을 제공합니다.

대상 사용자

텍스트에서 동영상(T2V) 및 이미지에서 동영상(I2V) 생성 시 지연 시간과 계산 리소스를 크게 줄이고자 하는 개발자 및 연구자에게 적합합니다.

주요 특징

• 엄청난 속도 향상: 밀집 기반 대비 200배 이상의 엔드투엔드 추론 가속을 달성합니다.
• Wan 모델 호환성: Wan 2.1 및 Wan 2.2 아키텍처와 완전 호환됩니다.
• 통합 파이프라인: 스파스 어텐션 미세조정, 소수 단계 증류, 최적화된 추론을 위한 도구를 제공합니다.
• 사용자 정의 연산자: 외부 종속성 없이 고성능 추론을 위한 자체 개발된 병합 커널을 포함합니다.
• 플러그인 가능한 레지스트리: 핵심 코드를 수정하지 않고도 사용자 정의 어텐션 변종을 통합할 수 있습니다.