PKU-YuanGroup/Helios

解決する課題

Heliosは、高品質な分単位の長時間動画をリアルタイムで生成するという課題を解決します。強力な一貫性と高速な推論速度を維持しながら、複雑なアンチドリフト戦略（時間の経過に伴う視覚的な不一致を防ぐもの）や標準的な加速技術を必要としません。

仕組み

Heliosは、33フレームずつのチャンクで動画を生成する自己回帰的なアプローチを採用した14Bパラメータの動画生成モデルです。ピラミッドベースのサンプリングパイプラインと特定の最適化を用いて、トレーニングと推論のスループットを向上させています。プロジェクトでは、Base（最高品質）、Mid（中間）、Distilled（最高効率）の3つのモデルバージョンを提供しています。また、VRAM使用量を約6GBに抑えるためのgroup offloadingや、マルチGPUスケーリングのためのコンテキスト並列（例：Ulysses、Ring、Unified Attention）などの高度なメモリおよび計算の最適化もサポートしています。

対象者

高品質な長尺動画生成と、利用可能なハードウェア（コンシューマー向けPCからH100 GPUまで）でのリアルタイム性能のバランスを必要とする、動画合成に取り組むAI研究者や開発者向けに設計されています。

ハイライト

• リアルタイム性能: 単一のH100 GPUで最大19.5 FPSを達成。
• 長時間動画合成: 従来のアンチドリフト手法に頼ることなく、分単位の動画生成が可能。
• メモリ効率: group offloadingをサポートし、わずか6GBのVRAMにモデルを収めることが可能。
• 多様なモダリティ: text-to-video (T2V)、image-to-video (I2V)、video-to-video (V2V) をサポート。
• 幅広い統合: Diffusers、SGLang-Diffusion、vLLM-Omni、Ascend-NPUへのDay-0サポート。