HKUDS/ViMax

解決する課題

ViMax は、現在の AI 動画ツールが抱える「短いクリップに限定される」「キャラクターやシーンの一貫性が保てない」「物語の構造が欠如している」といった制限に対処します。脚本作成、絵コンテ、ショット設計を含む複雑な制作パイプラインを自動化することで、シンプルなコンセプトや既存の脚本から高品質な長編動画を作成できるようにします。

仕組み

ViMax は、複数のクリエイティブな役割（監督、脚本家、プロデューサー、動画生成器）を調整するオールインワンのエージェント型フレームワークとして機能します。物語の計画と視覚的な生成を、いくつかの専門的なワークフローを通じて接続します。

• Idea2Video: 短いコンセプトを完全な制作物（ストーリー、キャラクター、脚本、絵コンテ）に変換します。
• Script2Video: 詳細な脚本を、創作意図を維持したままマルチシーンの動画に変換します。
• Novel2Video: 物語の圧縮とキャラクター追跡を使用して、長編小説をエピソード形式の視覚的物語に適応させます。
• AutoCameo: 人物やペットの参照写真を統合し、ストーリー全体を通して一貫した外見を維持します。

このシステムは、計画のための LLM とレンダリングのための専門的な画像/動画生成器を組み合わせて使用します。また、「エージェントループ (Agent Loop)」と、インタラクティブな計画、修正、レンダリング制御のための Web UI を備えています。

対象ユーザー

撮影や視覚的ストーリーテリングの専門家チームを必要とせずに、プロレベルの動画コンテンツを制作したい独立系クリエイターやラピッドプロトタイピングを行う人向けに設計されています。

ハイライト

• エンドツーエンドの自動化: 最初のプロンプトから最終的な動画の組み立てまで、すべてを処理します。
• 視覚的一貫性: 参照画像と最初のフレームを調整し、キャラクターや環境がショット間で安定するようにします。
• インタラクティブな制御: エージェントとのアイデアの議論、成果物のレビュー、プロジェクト管理のための Web UI と TUI を備えています。
• 並列生成: 互換性のあるショットやメディアアセットを同時に生成し、制作をスピードアップします。
• 柔軟な入力: コンセプト、明示的な脚本、長編小説を出発点としてサポートします。