Kandinsky 6.0 – テキストからオーディオビデオへの拡散モデル

概要

Kandinsky 6.0 は、テキストまたは画像プロンプトから同期された 44 kHz オーディオ付きの短い（5 秒）動画を生成するオープンソースの拡散モデルのペアです。2 つのサイズが提供されています：

• Lite – 3B パラメータ、高速で、ハイエンドのコンシューマー GPU で実行可能。
• Pro – 29B パラメータ、高品質でフル HD 出力に対応。 別の超解像プラグインを使用すると、動画を 1920 × 1080 にアップスケールできます。

重要性

単一のモデルで一貫した動画と一致するオーディオを生成することはまだ稀です。Kandinsky 6.0 は「リップシンク」問題に取り組み、2 つの生成モードをサポートしています：

• T2AV – テキスト → オーディオ + 動画。
• TI2AV – 画像 → オーディオ + 動画（静止画像のアニメーション化に便利）。 これらのモデルは「基盤」拡散モデルとして位置付けられており、微調整や下流のクリエイティブツールのベースとして使用できます。

始め方

1. リポジトリをクローンし、ヘルパーツール（uv は分離された Python 環境用、just はタスク自動化用）をインストールします。
2. just setup を実行します – 専用環境が作成され、必要な依存関係が取得されます。
3. モデルチェックポイントをダウンロードします（just download pro-distill で蒸留された 5 秒 Pro バージョン）。
4. 単一のコマンドでクリップを生成します。例：

   just generate 'A cat is lying on a mat, turns toward the camera, opens its mouth and says <S>Hello<E>'
   

   特別な <S>/<E> トークンは音声セグメントを示します。

リポジトリには、さまざまなランタイム（プレーンパイプライン、vLLM-Omni、SGLang、FastVideo）向けの個別のクイックスタートガイドと、再現可能なすべてのレシピをリストした justfile が含まれています。

パフォーマンススナップショット（5 秒クリップ、ウォームアップ除外）

GPU	Lite SD (s)	Lite HD	Lite Full HD	Pro SD	Pro HD	Pro Full HD
RTX 4090	437	422	578	936	1194	1247
RTX 5060 Ti	1310	1328	1774	3080	2716	3530
RTX 5080	577	579	770	1336	1189	1546
RTX 5090	309	296	406	754	638	854
RTX PRO 6000	242	274	387	621	561	765
A100 80 GB	532	472	664	972	791	1106
H100 80 GB	239	203	284	356	292	402

数値は生成時間（秒）です。重みの読み込みと MP4 エンコードは含まれません。

エコシステム統合

• 🤗 Diffusers – すぐに使えるパイプライン（Kandinsky6 クラス）。
• ComfyUI – ビジュアルワークフローエディタ用のノードパッケージ。
• vLLM-Omni – 高スループット推論サーバーのサポート。
• SGLang – 低遅延サービングのための統合。
• FastVideo – FastVideo フレームワークでの最適化された推論。
• Hugging Face Space – 蒸留 Pro モデルのライブデモ（5 秒生成）。

詳細情報

• 論文：https://huggingface.co/papers/2610.05608
• モデルカードとチェックポイント：https://kandinskylab.ai/models/video/
• 超解像プラグイン：https://github.com/kandinskylab/kandinsky-6-sr
• 詳細なドキュメントは docs/ フォルダにあります（クイックスタート、justfile、ランタイム固有のガイド）。

---

上記のすべての情報は、リポジトリの README から直接取得されています。