0xsline/StoryGen-Atelier

解決する課題

StoryGen Atelierは、ストーリーのアイデアを完全な動画に変換する複雑なプロセスを自動化します。スクリプトの作成、一貫性のある絵コンテの生成、そしてそれらのフレーム間をスムーズに繋いで一貫したシネマティックなシーケンスを作成する手作業を排除します。

仕組み

このツールは3段階の自動化パイプラインを使用します：

1. トランジション分析：Geminiを使用して絵コンテの画像ペア（ショットAとショットB）を分析し、一方から他方へどのように移行するかを記述する特定の「トランジションプロンプト」と期間を生成します。
2. クリップ生成：最初のステップからのプロンプトを使用して、Vertex AI Veo（またはMiniMax）を呼び出し、開始フレームと終了フレームを接続する動画クリップを生成します。
3. 最終組み立て：FFmpegを使用して、これらの個別のクリップを単一のロスレスMP4動画ファイルに繋ぎ合わせます。

対象ユーザー

動画のプロトタイプを迅速に作成したい、またはテキストの説明からAI生成のシネマティックなストーリーを作成したいコンテンツクリエイター、映画製作者、ストーリーテラー。

ハイライト

• エンドツーエンドのワークフロー：スクリプトやフレームの生成から最終的な動画の繋ぎ合わせまで、すべてを処理します。
• 補間チェーン戦略：スライディングウィンドウアプローチを使用して、ショット間の視覚的な連続性を確保します。
• マルチモデルサポート：Google GeminiとVertex AI Veoを統合し、MiniMaxモデルもオプションでサポートしています。
• 管理ツール：プロジェクトの保存/読み込み用の組み込みギャラリーと、生成履歴を追跡するためのログダッシュボードが含まれています。