PKU-YuanGroup/Helios

해결하는 문제

Helios는 고품질의 분 단위 장편 영상을 실시간으로 생성하는 과제를 해결합니다. 강력한 일관성과 높은 추론 속도를 유지하면서도, 복잡한 안티 드리프트(anti-drifting) 전략(시간 경과에 따른 시각적 불일치 방지) 및 표준 가속 기술의 필요성을 제거했습니다.

작동 원리

Helios는 33프레임 단위로 영상을 생성하는 자기회귀(autoregressive) 방식을 사용하는 14B 파라미터 영상 생성 모델입니다. 피라미드 기반 샘플링 파이프라인과 특정 최적화를 사용하여 학습 및 추론 처리량을 개선합니다. 이 프로젝트는 Base(최고 품질), Mid(중간), Distilled(최고 효율)의 세 가지 모델 버전을 제공합니다. 또한 VRAM 사용량을 약 6GB로 줄이기 위한 group offloading 및 멀티 GPU 확장을 위한 컨텍스트 병렬성(예: Ulysses, Ring, Unified Attention)과 같은 고급 메모리 및 연산 최적화를 지원합니다.

대상 사용자

고품질 장편 영상 생성과 사용 가능한 하드웨어(소비자급 PC부터 H100 GPU까지)에서의 실시간 성능 사이의 균형이 필요한 영상 합성 분야의 AI 연구자 및 개발자를 위해 설계되었습니다.

주요 특징

• 실시간 성능: 단일 H100 GPU에서 최대 19.5 FPS 달성.
• 장편 영상 합성: 기존의 안티 드리프트 방식에 의존하지 않고 분 단위 영상 생성 가능.
• 메모리 효율성: group offloading을 지원하여 모델을 6GB의 적은 VRAM에도 탑재 가능.
• 다양한 모달리티: text-to-video (T2V), image-to-video (I2V), video-to-video (V2V) 지원.
• 폭넓은 통합: Diffusers, SGLang-Diffusion, vLLM-Omni, Ascend-NPU에 대한 Day-0 지원.