Helios: 고품질 분당 스케일 합성을 위한 실시간 14B 비디오 생성 모델

해결하고자 하는 문제

Helios는 실시간으로 고품질의 장시간 비디오(분당 스케일)를 생성하는 문제를 해결합니다. 작은 모델보다 더 빠르고 메모리 효율이 높은 모델을 제공하면서, 복잡한 안티드리프팅이나 가속 기술 없이도 강력한 일관성과 품질을 유지하는 것을 목표로 합니다.

작동 원리

Helios는 14B 파라미터를 가진 비디오 생성 모델로, 자동회귀 방식을 사용하여 33프레임씩 비디오를 생성합니다. 특히 Mid 및 Distilled 버전에서 다중 스케일 샘플링 파이프라인을 활용해 효율성을 높입니다. 이 프로젝트는 학습 및 추론 처리량을 최적화하는 기능을 포함하며, 그룹 오프로드를 통해 VRAM 사용량을 약 6GB로 줄이고, 컨텍스트 병렬성(Ulysses, Ring, Unified, Ulysses Anything Attention)을 지원해 다중 GPU 확장을 가능하게 합니다.

대상 사용자

이 모델은 고처리량·실시간 비디오 생성 기능이 필요한 AI 비디오 합성 분야의 개발자와 연구자를 위해 설계되었으며, 소비자 수준 하드웨어에서도 최대 4K 해상도의 고해상도 비디오를 생성하고자 하는 사용자에게도 적합합니다.

주요 특징

• 실시간 성능: 단일 H100 GPU에서 19.5 FPS를 달성(최적화된 하드웨어에서는 최대 20.89 FPS).
• 긴 비디오 일관성: self-forcing이나 keyframe sampling과 같은 표준 안티드리프팅 전략에 의존하지 않고 분당 스케일 비디오를 생성합니다.
• 효율성: KV-cache나 양자화와 같은 표준 가속 기술 없이도 작동하며, 많은 1.3B 모델보다 빠릅니다.
• 다재다능성: Text-to-Video (T2V), Image-to-Video (I2V), Video-to-Video (V2V) 작업을 지원합니다.
• 광범위한 호환성: Diffusers, SGLang-Diffusion, vLLM-Omni, Ascend-NPU와 통합됩니다.