chenfengxu714/StreamDiffusionV2

해결하는 문제

StreamDiffusionV2는 실시간으로 고품질 동영상을 생성할 때 발생하는 지연과 처리량 문제를 해결합니다. 동영상에서 동영상으로의 동적이고 인터랙티브한 생성을 가능하게 하여, 크리에이터와 플랫폼이 다양한 GPU 구성에서 높은 프레임당 초(FPS)로 스트리밍 동영상 콘텐츠를 생성할 수 있도록 합니다.

작동 방식

이 시스템은 동영상을 전체로 처리하는 대신 청크 단위로 처리하는 스트리밍 확산 파이프라인을 구현합니다. 인과적 DiT(Diffusion Transformer)와 링버퍼 KV 캐시를 사용하여 효율적인 슬라이딩 윈도우 어텐션을 가능하게 합니다. 파이프라인은 단일 GPU 스트리밍, 스트리밍 배치 없이 단일 GPU, 다중 GPU 파이프라인 병렬 추론의 여러 실행 모드를 지원합니다. 더 빠른 속도를 위해 TensorRT를 통한 선택적 가속과 가벼운 TAEHV-VAE 디코더도 제공합니다.

대상 사용자

이 도구는 NVIDIA GPU에서 고처리량 동영상 생성이 필요한 AI 연구자, 동영상 크리에이터, 실시간 인터랙티브 동영상 애플리케이션을 개발하는 개발자들을 위한 것입니다.

주요 특징

• 고성능: 고 FPS를 지원하는 실시간 스트리밍에 최적화되어 있습니다.
• 유연한 확장성: 단일 GPU 설정에서부터 다중 GPU 파이프라인 병렬 구성까지 확장 가능합니다.
• 하드웨어 최적화: NVIDIA Blackwell GPU에 대한 초기 지원과 선택적 Flash-Attention 통합을 포함합니다.
• 인터랙티브 기능: 동적이고 인터랙티브한 동영상 생성 작업에 특화되어 있습니다.