ModelTC/LightX2V

LightX2V – 이미지 및 비디오 생성을 위한 경량 추론 엔진

개요 – LightX2V는 다양한 최신 생성 모델(텍스트→비디오, 이미지→비디오, 텍스트→이미지, 이미지→이미지 등)을 단일 GPU 또는 다중 GPU 클러스터에서 효율적으로 실행할 수 있게 해주는 오픈소스 추론 프레임워크입니다. 속도에 초점을 맞추고 있으며, 저자들은 양자화·증류된 LoRA 체크포인트와 일련의 최적화(오프로딩, 텐서 병렬화, FP8/NVFP4 양자화, 스텝 증류)를 제공하여 확산 기반 비디오 생성이 Diffusers, FastVideo, SGL‑Diffusion 같은 경쟁 툴킷보다 몇 배 더 빠르게 동작하도록 합니다.

핵심 아이디어

X2V – “X to Vision”: 모든 입력 모달리티(텍스트, 이미지, 오디오)를 시각적 출력(이미지 또는 비디오)으로 변환할 수 있습니다. 이 프레임워크는 이를 단일 LightX2VPipeline 클래스로 추상화하며, 모델 이름, 변형, 추론 스케줄을 설명하는 JSON 구성으로 설정합니다.
통합 지원 – 동일한 파이프라인이 여러 모델에서 작동합니다: MiniMax‑H3(옴니모달 비디오+스테레오 오디오), LTX‑2/2.3, HunyuanVideo‑1.5, Wan‑2.1/2.2, Qwen‑Image, SwiftVR 등.
속도 향상 기법 –
- 스텝 증류 LoRA(4단계 또는 8단계)로 품질을 유지하면서 확산 단계 수를 크게 줄입니다.
- 양자화(FP8, NVFP4) 및 텐서/시퀀스 병렬화로 대형 모델을 적당한 하드웨어에 맞춥니다.
- 분리 배포 – 사용자 정의 커널을 통해 특수 가속기(T‑head PPU, iluvatar, Intel AIPC PTL, Cambricon MLU, MUSA, AMD ROCm, Ascend, Hygon DCU, Enflame GCU 등)를 지원합니다.
확장 가능 – 체크포인트, 작은 구성 파일, 그리고 (선택적으로) 사용자 정의 LoRA를 제공하여 새 모델을 추가할 수 있습니다.

빠른 시작 예제(MiniMax‑H3 T2AV)

from lightx2v import LightX2VPipeline

pipe = LightX2VPipeline(
    model_path="/path/to/MiniMax-H3",
    model_cls="minimax_h3",
    model_variant="fl2av",
)
pipe.create_generator(config_json="configs/minimax_h3/dmd/minimax_h3_bf16_4step.json")

pipe.generate(
    task="t2av",
    seed=42,
    prompt="A cinematic fox walks through a snowy forest while soft wind and distant birds create an immersive winter soundscape.",
    save_result_path="outputs/minimax_h3_t2av_768p.mp4",
)

이 스니펫은 일반적인 워크플로를 보여줍니다: 파이프라인을 인스턴스화하고, 증류 LoRA 구성을 로드한 다음, 작업 이름과 프롬프트로 generate를 호출합니다.

성능 하이라이트(저자 보고)

하드웨어	GPU 수	스텝 시간(초)	Diffusers 대비 상대 속도 향상
H100	1	5.18	1.9×
H100	8	0.75	3.9×
RTX‑4090D	1	20.26	1.5×
RTX‑4090D	8	4.75	3.3×
H100 8‑GPU, FP8, no‑CFG	0.35	2.1×
RTX‑4090D 8‑GPU, FP8, no‑CFG	2.35	2.0×
이 수치들은 40단계, 81프레임 비디오(Wan2.1‑I2V‑14B‑480P)에서 측정되었습니다. 이 프레임워크는 또한 4단계 증류 모델을 제공하여 일반적인 50단계 확산 실행의 일부 시간에 실행할 수 있습니다.

시작하기

Docker(권장) – Docker Hub(lightx2v/lightx2v)에서 공식 이미지를 가져와 문서의 빠른 시작 섹션을 따르세요.
소스에서 설치 – pip install -v git+https://github.com/ModelTC/LightX2V.git를 실행하거나 저장소를 복제한 후 uv pip install -v .를 실행하세요.
선택적 연산자 – 사용자 정의 어텐션 커널과 양자화 연산자는 문서의 “Install Attention/Quantize Operators” 페이지를 참조하세요.
예제 – 저장소에는 풍부한 examples/ 폴더(MiniMax‑H3, Wan, SwiftVR, HunyuanVideo‑1.5 등)와 바로 실행 가능한 추론 스크립트가 포함된 scripts/ 디렉터리가 함께 제공됩니다.

생태계 및 커뮤니티

모델 허브 – 지원되는 모든 모델과 LoRA는 전용 HuggingFace 조직(lightx2v)에서 호스팅됩니다. 사용자는 여기에서 증류 체크포인트를 직접 가져올 수 있습니다.
온라인 데모 – 무료 웹 UI(LightX2V Studio)를 통해 아무것도 설치하지 않고 프레임워크를 사용해 볼 수 있습니다.
Mac 앱 – 네이티브 macOS 추론 앱(LightX2V‑Mac‑App)은 Apple 실리콘에서 로컬 비디오 생성을 제공합니다.
기여 – 이 프로젝트는 커뮤니티 기여자 목록을 제공하고 코드 포맷팅을 위한 pre‑commit 스타일 가이드를 제공합니다.
지원 채널 – WeChat 그룹(로봇 ID: random42seed)과 GitHub의 이슈 트래커.

누가 사용해야 할까?

연구자 – 단일 또는 다중 GPU 서버에서 비디오 확산 모델의 빠른 추론이 필요한 사람.
개발자 – AI 기반 비디오 생성 제품을 구축하면서 바로 사용할 수 있는 파이프라인과 사전 최적화된 LoRA를 원하는 사람.
취미 사용자 – 대규모 GPU 메모리 없이 로컬(예: MacBook)에서 텍스트→비디오를 실행하고 싶은 사람.

결론

LightX2V는 성능에 초점을 맞춰 만들어진 추론 프레임워크로, 많은 최첨단 생성 모델을 단일 API 아래 통합합니다. 양자화, 스텝 증류, 폭넓은 하드웨어 지원을 강조하기 때문에 이미지나 비디오를 빠르고 대규모로 생성하려는 사람에게 실용적인 선택이 됩니다.