Kandinsky 6.0 – 텍스트-오디오-비디오 확산 모델

개요

Kandinsky 6.0은 텍스트 또는 이미지 프롬프트에서 동기화된 44kHz 오디오가 포함된 짧은(5초) 비디오를 생성하는 오픈소스 확산 모델 쌍입니다. 두 가지 크기가 제공됩니다:

• Lite – 3B 매개변수, 빠르며 고급 소비자 GPU에서 실행 가능.
• Pro – 29B 매개변수, 더 높은 품질과 Full HD 출력 지원. 별도의 초해상도 플러그인으로 비디오를 1920 × 1080으로 업스케일할 수 있습니다.

중요성

단일 모델에서 일관된 비디오와 일치하는 오디오를 생성하는 것은 여전히 드뭅니다. Kandinsky 6.0은 "립싱크" 문제를 해결하고 두 가지 생성 모드를 지원합니다:

• T2AV – 텍스트 → 오디오 + 비디오.
• TI2AV – 이미지 → 오디오 + 비디오(정지 이미지 애니메이션에 유용). 이 모델은 "기반" 확산 모델로 포지셔닝되어, 미세 조정하거나 하위 창의적 도구의 기반으로 사용할 수 있습니다.

시작하기

1. 리포지토리를 클론하고 도우미 도구(uv는 격리된 Python 환경용, just는 작업 자동화용)를 설치합니다.
2. just setup을 실행합니다 – 전용 환경을 만들고 필요한 종속성을 가져옵니다.
3. 모델 체크포인트를 다운로드합니다(just download pro-distill은 증류된 5초 Pro 버전).
4. 단일 명령으로 클립을 생성합니다. 예:

   just generate 'A cat is lying on a mat, turns toward the camera, opens its mouth and says <S>Hello<E>'
   

   특수 <S>/<E> 토큰은 음성 세그먼트를 표시합니다.

리포지토리에는 다양한 런타임(일반 파이프라인, vLLM-Omni, SGLang, FastVideo)에 대한 별도의 빠른 시작 가이드와 모든 재현 가능한 레시피를 나열하는 justfile이 포함되어 있습니다.

성능 스냅샷(5초 클립, 워밍업 제외)

GPU	Lite SD (s)	Lite HD	Lite Full HD	Pro SD	Pro HD	Pro Full HD
RTX 4090	437	422	578	936	1194	1247
RTX 5060 Ti	1310	1328	1774	3080	2716	3530
RTX 5080	577	579	770	1336	1189	1546
RTX 5090	309	296	406	754	638	854
RTX PRO 6000	242	274	387	621	561	765
A100 80 GB	532	472	664	972	791	1106
H100 80 GB	239	203	284	356	292	402

숫자는 생성 시간(초)입니다. 가중치 로딩 및 MP4 인코딩은 포함되지 않습니다.

생태계 통합

• 🤗 Diffusers – 바로 사용 가능한 파이프라인(Kandinsky6 클래스).
• ComfyUI – 시각적 워크플로 편집기용 노드 패키지.
• vLLM-Omni – 높은 처리량 추론 서버 지원.
• SGLang – 저지연 서빙을 위한 통합.
• FastVideo – FastVideo 프레임워크에서 최적화된 추론.
• Hugging Face Space – 증류된 Pro 모델의 라이브 데모(5초 생성).

추가 정보

• 논문: https://huggingface.co/papers/2610.05608
• 모델 카드 및 체크포인트: https://kandinskylab.ai/models/video/
• 초해상도 플러그인: https://github.com/kandinskylab/kandinsky-6-sr
• 자세한 문서는 docs/ 폴더에 있습니다(빠른 시작, justfile, 런타임별 가이드).

---

위의 모든 정보는 리포지토리의 README에서 직접 가져온 것입니다.