Anil-matcha/Open-AI-Micro-Drama-Generator

AI short drama & micro-drama video generator — turns any idea into a complete short-form drama using multi-agent AI pipeline (screenwriter → storyboard → frames → video). Seedance 2 VIP, Kling 3.0 Pro, Veo 3.1, Sora 2.

What it solves

MicroDrama AI は、AI 動画制作がツール間を手動で切り替える必要があるという断片的な現状を解決します。スクリプト作成、画像生成、動画作成といった別々のツールを使い分ける必要がなく、シンプルなアイデアから最終的なシネマティック動画までを自動化することで、物語の一貫性やキャラクターの整合性の問題を解消します。

How it works

システムは MuAPI によって駆動されるエージェント型パイプラインを使用し、複数の専門 AI ロールをオーケストレーションします：

  1. Screenwriter Agent：ストーリーのアウトラインを作成し、シーンのスクリプトを書きます。
  2. Character Extractor Agent：キャラクターを特定し、静的・動的なビジュアル特徴を定義します。
  3. Storyboard Artist Agent：ビジュアル、モーション、オーディオの説明を含むショットごとのブレークダウンを設計します。
  4. Production Tools：
    • flux-dev-image (T2I) を使用してリファレンスポートレートを生成。
    • flux-kontext-dev-i2i (I2I) でショットの最初のフレームを作成し、キャラクターの一貫性を保ちます。
    • kling-v2.1-standard-i2v (I2V) で 5 秒間のビデオクリップを生成。
  5. Concatenation：moviepy を使ってすべての生成クリップを最終的な .mp4 ファイルに結合します。

Who it’s for

複数の AI ツールを管理したり、ショット間のビジュアル連続性を手動で確保したりすることなく、アイデアや既存のスクリプトを短いシネマティック動画に変換したいクリエイター向けに設計されています。

Highlights

  • End-to-End Automation：アイデアや提供されたスクリプトを、手動ステップゼロでフルビデオに変換します。
  • Character Consistency：リファレンスポートレートと I2I 生成を使用し、異なるショット間でキャラクターの外観を統一します。
  • Real-time Monitoring：Next.js フロントエンドと SSE ストリーミングで、7 段階のパイプラインの進行状況をリアルタイムに表示します。
  • Single API Integration：LLM、画像、動画生成すべてに単一の MuAPI キーだけで操作します。