chatfire-AI/huobao-drama

何を解決するか

Huobao Drama は、AI 生成されたショートドラマの作成を完全に自動化するエンドツーエンドのプロダクションプラットフォームです。複数のAIツールを手動で連携する手間を省き、スクリプト作成、キャラクター設計、ストーリーボード作成、動画アセンブリを1つのワークフローに統合しています。

動作方法

このプラットフォームは、専門的なAIエージェントのパイプラインを使用して、元の小説を完成した動画に変換します：

1. スクリプト作成：script_rewriter エージェントが小説をフォーマットされた撮影用スクリプトに変換します。
2. 抽出：extractor エージェントがスクリプトからキャラクター、シーン、小道具を識別します。
3. アセット作成：AI画像生成モデルがキャラクターと環境の一貫した視覚的リファレンスを作成します。
4. ストーリーボード作成：storyboard_breaker エージェントがスクリプトをショットに分割し、動画プロンプトを生成します。
5. 動画制作：テキストから動画、画像から動画のモデルがクリップを生成し、FFmpeg を使って字幕付きで編集・結合されます。

対象ユーザー

LLM、画像、動画生成ツールを個別に手動で管理せずに、短編AI動画コンテンツを迅速にプロトタイピングまたは制作したいクリエイター、作家、映画監督向けです。

特徴

• 統合エージェントパイプライン：スクリプト再作成、抽出、ストーリーボード作成、プロンプト生成用の内蔵エージェント。
• マルチプロバイダ対応：OpenAI、Gemini などのテキストプロバイダ、OpenAI、Gemini、Volcano Engine などの画像プロバイダ、Seedance、MiniMax、Alibaba Bailian などの動画プロバイダに対応。
• フルスタックデプロイ：macOS/Windows 向けデスクトップアプリまたは Docker を用いたサーバーサイドデプロイで利用可能。
• 自動合成：ショットごとの合成とエピソード全体の編集を自動で処理。