ModelTC/LightX2V

LightX2V – 画像・動画生成のための軽量推論エンジン

概要 – LightX2V は、幅広い最新の生成モデル（テキストから動画、画像から動画、テキストから画像、画像から画像など）を、単一 GPU またはマルチ GPU クラスタ上で効率的に実行できるオープンソース推論フレームワークです。速度に重点を置いており、著者らは量子化・蒸留済みの LoRA チェックポイントと、一連の最適化（オフロード、テンソル並列化、FP8/NVFP4 量子化、ステップ蒸留）を提供しており、これにより拡散ベースの動画生成が Diffusers、FastVideo、SGL‑Diffusion などの競合ツールキットよりも数倍高速になります。

中核となる考え方

X2V –「X to Vision」：任意の入力モダリティ（テキスト、画像、音声）を視覚出力（画像または動画）に変換できます。このフレームワークはこれを単一の LightX2VPipeline クラスとして抽象化し、モデル名、バリアント、推論スケジュールを記述した JSON 設定で構成します。
統合サポート – 同じパイプラインが多くのモデルで動作します：MiniMax‑H3（オムニモーダル動画＋ステレオ音声）、LTX‑2/2.3、HunyuanVideo‑1.5、Wan‑2.1/2.2、Qwen‑Image、SwiftVR など。
高速化の手法 –
- ステップ蒸留 LoRA（4 ステップまたは 8 ステップ）により、品質を保ちながら拡散ステップ数を大幅に削減。
- 量子化（FP8、NVFP4）とテンソル/シーケンス並列化により、大規模モデルを手頃なハードウェアに収める。
- 分離デプロイ – カスタムカーネルを介した特殊アクセラレータ（T‑head PPU、iluvatar、Intel AIPC PTL、Cambricon MLU、MUSA、AMD ROCm、Ascend、Hygon DCU、Enflame GCU など）のサポート。
拡張可能 – チェックポイント、小さな設定ファイル、そして（任意で）カスタム LoRA を提供することで、新しいモデルを追加できます。

クイックスタート例（MiniMax‑H3 T2AV）

from lightx2v import LightX2VPipeline

pipe = LightX2VPipeline(
    model_path="/path/to/MiniMax-H3",
    model_cls="minimax_h3",
    model_variant="fl2av",
)
pipe.create_generator(config_json="configs/minimax_h3/dmd/minimax_h3_bf16_4step.json")

pipe.generate(
    task="t2av",
    seed=42,
    prompt="A cinematic fox walks through a snowy forest while soft wind and distant birds create an immersive winter soundscape.",
    save_result_path="outputs/minimax_h3_t2av_768p.mp4",
)

このスニペットは典型的なワークフローを示しています：パイプラインをインスタンス化し、蒸留 LoRA 設定を読み込み、タスク名とプロンプトを指定して generate を呼び出します。

パフォーマンスのハイライト（著者による報告）

ハードウェア	GPU 数	ステップ時間（秒）	Diffusers に対する相対高速化
H100	1	5.18	1.9×
H100	8	0.75	3.9×
RTX‑4090D	1	20.26	1.5×
RTX‑4090D	8	4.75	3.3×
H100 8‑GPU、FP8、no‑CFG	0.35	2.1×
RTX‑4090D 8‑GPU、FP8、no‑CFG	2.35	2.0×
これらの数値は、40 ステップ、81 フレームの動画（Wan2.1‑I2V‑14B‑480P）で測定されています。このフレームワークは 4 ステップ蒸留モデルも提供しており、典型的な 50 ステップの拡散実行のほんの一部の時間で実行できます。

はじめに

Docker（推奨） – Docker Hub（lightx2v/lightx2v）から公式イメージを取得し、ドキュメントのクイックスタートセクションに従ってください。
ソースから – pip install -v git+https://github.com/ModelTC/LightX2V.git を実行するか、リポジトリをクローンして uv pip install -v . を実行します。
オプションのオペレータ – カスタムアテンションカーネルと量子化オペレータについては、ドキュメントの「Install Attention/Quantize Operators」ページを参照してください。
サンプル – リポジトリには充実した examples/ フォルダ（MiniMax‑H3、Wan、SwiftVR、HunyuanVideo‑1.5 など）と、すぐに実行できる推論スクリプトを含む scripts/ ディレクトリが同梱されています。

エコシステムとコミュニティ

モデルハブ – サポートされているすべてのモデルと LoRA は、専用の HuggingFace 組織（lightx2v）でホストされています。ユーザーはそこから蒸留チェックポイントを直接取得できます。
オンラインデモ – 無料の Web UI（LightX2V Studio）では、何もインストールせずにフレームワークを試せます。
Mac アプリ – ネイティブ macOS 推論アプリ（LightX2V‑Mac‑App）は、Apple シリコン上でローカル動画生成を提供します。
コントリビューション – このプロジェクトはコミュニティ貢献者のリストを掲載し、コードフォーマット用の pre‑commit スタイルガイドを提供しています。
サポートチャネル – WeChat グループ（ロボット ID：random42seed）と GitHub のイシュートラッカー。

誰が使うべきか？

研究者 – 単一またはマルチ GPU サーバー上で動画拡散モデルの高速推論を必要とする人。
開発者 – AI を活用した動画生成製品を構築しており、既製のパイプラインと事前最適化された LoRA を求める人。
ホビイスト – 大量の GPU メモリなしで、ローカル（例：MacBook 上）でテキストから動画を実行したい人。

まとめ

LightX2V は、性能に焦点を当てて作られた推論フレームワークであり、多くの最先端生成モデルを単一の API の下に統合します。量子化、ステップ蒸留、幅広いハードウェアサポートを重視しているため、画像や動画を迅速かつ大規模に生成したい人にとって実用的な選択肢となります。