Anil-matcha/Open-AI-Micro-Drama-Generator

何を解決するか

MicroDrama AI は、AI動画制作の断片化された性質に対処します。従来、短編映画を作成するには、脚本作成、画像生成、動画作成のための別々のツールを切り替える必要があり、結果として物語の構造が欠けたり、シーン間でキャラクターの外見が一貫性を持たないことがよくあります。

動作方法

このプロジェクトは、MuAPIで駆動されるエージェント型パイプラインを使用して、すべての制作プロセスを自動化します。2つのモードで動作します：「アイデアから動画」（フルパイプライン）と「脚本から動画」（執筆フェーズをスキップ）。

1. 物語計画：スクリプトライター・エージェントが物語を構築し、シーンの脚本を書きます。キャラクター抽出エージェントはキャラクターの視覚的特徴を定義します。
2. 視覚デザイン：ストーリーボードアーティストエージェントが、シーンごとの描写を設計します。その後、システムはキャラクターの参照ポートレートを生成し、視覚的一貫性を確保します。
3. 制作：パイプラインは、画像から画像（I2I）技術を使って各シーンの最初のフレームを生成し、その後、画像から動画（I2V）モデルを使って5秒間の動画クリップに変換します。
4. 統合：生成されたすべてのクリップは、moviepy を使用して最終的な .mp4 ファイルに連結されます。

対象ユーザー

このツールは、複数のAIツールを手動で管理せずに、映画的なマイクロドラマを迅速にプロトタイピングしたり、短編動画コンテンツを作成したいコンテンツクリエイターおよび映画監督向けに設計されています。

特徴

• エンドツーエンドの自動化：原始的なアイデアから最終レンダリングされた動画までをすべて処理します。
• キャラクターの一貫性：参照ポートレートと特定の抽出エージェントを使用して、シーン間でキャラクターの外見を同じに保ちます。
• エージェント型ワークフロー：スクリプトライター、ストーリーボードアーティスト、キャラクター抽出エージェントなど、専門的なエージェントを調整して、異なるクリエイティブな役割を担当させます。
• リアルタイムモニタリング：SSEストリーミングを備えたNext.jsフロントエンドにより、7段階のパイプラインの進行状況をライブで確認できます。