ModelTC/LightX2V

LightX2V – 轻量级图像与视频生成推理引擎

这是什么 – LightX2V 是一个开源推理框架，让你能在单个 GPU 或多 GPU 集群上高效运行各种现代生成模型（文本转视频、图像转视频、文本转图像、图像转图像等）。它专注于速度：作者提供量化、蒸馏的 LoRA 检查点，以及一系列优化（卸载、张量并行、FP8/NVFP4 量化、步数蒸馏），使扩散式视频生成比 Diffusers、FastVideo 或 SGL‑Diffusion 等竞争工具包快上数倍。

核心概念

X2V –“X 到视觉”：任何输入模态（文本、图像、音频）都能转换为视觉输出（图像或视频）。该框架将其抽象为单个 LightX2VPipeline 类，你可以用模型名称、变体，以及描述推理调度的 JSON 配置来配置它。
统一支持 – 同一条流水线可运行于多种模型：MiniMax‑H3（全模态视频+立体声音频）、LTX‑2/2.3、HunyuanVideo‑1.5、Wan‑2.1/2.2、Qwen‑Image、SwiftVR 等。
加速技巧 –
- 步数蒸馏 LoRA（4 步或 8 步），在保持质量的同时大幅减少扩散步数。
- 量化（FP8、NVFP4）与张量/序列并行，让大型模型能装进一般硬件。
- 解耦部署 – 通过自定义内核支持特殊加速器（T‑head PPU、iluvatar、Intel AIPC PTL、Cambricon MLU、MUSA、AMD ROCm、Ascend、Hygon DCU、Enflame GCU 等）。
可扩展 – 用户可通过提供检查点、小型配置文件，以及（可选的）自定义 LoRA 来新增模型。

快速入门示例（MiniMax‑H3 T2AV）

from lightx2v import LightX2VPipeline

pipe = LightX2VPipeline(
    model_path="/path/to/MiniMax-H3",
    model_cls="minimax_h3",
    model_variant="fl2av",
)
pipe.create_generator(config_json="configs/minimax_h3/dmd/minimax_h3_bf16_4step.json")

pipe.generate(
    task="t2av",
    seed=42,
    prompt="A cinematic fox walks through a snowy forest while soft wind and distant birds create an immersive winter soundscape.",
    save_result_path="outputs/minimax_h3_t2av_768p.mp4",
)

这段代码展示了典型工作流程：实例化流水线、加载蒸馏 LoRA 配置，然后以任务名称与提示词调用 generate。

性能亮点（由作者报告）

硬件	GPU 数	步进时间（秒）	相对于 Diffusers 的加速倍率
H100	1	5.18	1.9×
H100	8	0.75	3.9×
RTX‑4090D	1	20.26	1.5×
RTX‑4090D	8	4.75	3.3×
H100 8‑GPU、FP8、no‑CFG	0.35	2.1×
RTX‑4090D 8‑GPU、FP8、no‑CFG	2.35	2.0×
这些数字是在 40 步、81 帧的视频（Wan2.1‑I2V‑14B‑480P）上测得。该框架也提供 4 步蒸馏模型，运行时间仅为典型 50 步扩散运行的一小部分。

开始使用

Docker（推荐） – 从 Docker Hub（lightx2v/lightx2v）拉取官方镜像，并按照文档中的快速入门章节操作。
从源码安装 – pip install -v git+https://github.com/ModelTC/LightX2V.git，或克隆仓库并运行 uv pip install -v .。
可选算子 – 关于自定义注意力内核与量化算子，请参阅文档中的“Install Attention/Quantize Operators”页面。
示例 – 仓库内含丰富的 examples/ 文件夹（MiniMax‑H3、Wan、SwiftVR、HunyuanVideo‑1.5 等），以及内含可直接运行推理脚本的 scripts/ 目录。

生态与社区

模型中心 – 所有支持的模型与 LoRA 都托管于专属的 HuggingFace 组织（lightx2v）。用户可直接从该处拉取蒸馏检查点。
在线演示 – 免费的网页 UI（LightX2V Studio）让你无需安装任何东西即可试用该框架。
Mac 应用 – 原生 macOS 推理应用（LightX2V‑Mac‑App）在 Apple 芯片上提供本地视频生成。
贡献 – 该项目列出社区贡献者，并提供 pre‑commit 风格的代码格式指南。
支持渠道 – 微信群（机器人 ID：random42seed）与 GitHub 上的问题追踪器。

谁适合使用？

研究人员，需要在单个或多 GPU 服务器上对视频扩散模型进行快速推理。
开发者，正在打造 AI 驱动的视频生成产品，想要现成的流水线与预先优化的 LoRA。
爱好者，想在本地（例如 MacBook 上）运行文本转视频，而不需要大量 GPU 显存。

总结

LightX2V 是一个专为性能打造的推理框架，将许多最先进的生成模型统一在单个 API 之下。它对量化、步数蒸馏与广泛硬件支持的重视，使其成为任何想快速且大规模生成图像或视频的人的实用选择。