Anning01/novelvids

从故事创作、角色资产管理、分镜设计,到 AI 图片与视频生成,打造完整的开源 AI 漫剧与短剧创作工作台。支持创作助手、无限画布、本地部署与多模型接入。

解決する課題

小説から短編ドラマ動画を手作業で制作するのは時間がかかり労力も大きいものです。章の分割、キャラクターやシーンの設計、ショットごとのプロンプト作成、画像と動画の生成、そして最終的なエピソードへの統合が必要です。このプロジェクトはパイプラインのほぼ全体を自動化し、テキスト小説(または既存の動画)から、一貫したキャラクター、声、ストーリーボードを持つ制作可能な短編ドラマを生成できるようにします。

仕組み

システムは小説原稿(テキスト貼り付けまたは doc/docx/txt/pdf のアップロード)を受け取り、章分割、エンティティ抽出(キャラクター、シーン、小道具)、アセット生成(参照画像、音声クリップ)、ストーリーボード生成、マルチモーダル動画合成、最終エピソード結合といった一連の自動ステップを実行します。また、既存の動画(mp4/mov、最大 500 MB、20 分)を「リメイクワークショップ」にアップロードすることもできます。システムはグローバルな役割とシーンを検出し、動画をショットに分割し、プロフェッショナルなストーリーボードプロンプトを再生成します。

自動エージェントモードと手動編集モードの両方が提供されます。エージェント(Pydantic AI 上に構築)は、「この章に雨の夜の駅シーンを追加して」や「このショットを暖色系にして、アクションと会話は維持して」といった自然言語リクエストに応答し、監査可能な変更記録と元に戻す機能を返します。プラットフォームには、ストーリーボードエディタ、視覚的なワークフローのための無限キャンバス(Vue Flow)、キャラクターの声の一貫性のための音声ライブラリ、設定可能な動画モデルアダプタ(Seedance、MiniMax H3、Wan3)、使用量とコスト追跡を備えた請求ダッシュボードも含まれています。

対象ユーザー

コンテンツクリエイター、短編ドラマ制作チーム、趣味で作る人、そして本や参照動画を連載短編ドラマに変換するためのエンドツーエンドの AI 支援パイプラインを求める開発者向けです。これはデモではなく、本番環境で使用できるデプロイ可能なアプリケーション(Docker 推奨)として設計されており、チーム機能(オプション)、ロールベースのアクセス制御、AI プロンプトと生成ルールの広範なカスタマイズフックが含まれています。

ハイライト

  • 小説から完成した短編ドラマへのワンクリックパイプライン:章分割、エンティティ抽出、アセット生成、ストーリーボード、動画合成、エピソード結合。
  • 実際のビジネスツール、長期/短期記憶、元に戻せる操作レシートを備えた自然言語によるエージェント支援作成。
  • リメイクワークショップ:動画またはエピソードフォルダをアップロードし、シーンとショットを自動検出し、非同期進行追跡付きで新しいストーリーボードプロンプトを生成。
  • 一貫したアセット:キャラクターの外見、衣装、年齢状態、音声参照をアセットごとにバージョン履歴付きで管理。
  • 2 つの組み込み戦略(映画的ナラティブとナレーション)を持つストーリーボードエンジンと、完全に編集可能でアセットタグ付きのプロンプト。
  • ストーリーボードワークフローのための無限キャンバス(Vue Flow)。パン、ズーム、コピー/ペースト、元に戻す/やり直し、ビューポートの永続化をサポート。
  • Seedance、MiniMax H3、Wan3 をサポートする設定駆動の動画ファクトリ。最初と最後のフレームの連続性と FFmpeg ベースのフォールバックを備えています。
  • モデルに依存しないコスト請求:トークン/画像/動画の使用量、価格スナップショット、割引、プロジェクトごとのダッシュボード。
  • すべての生成段階で完全にカスタマイズ可能なプロンプトテンプレート(中国語と英語)。コードに触れる必要はありません。
  • 本番対応:Docker compose、SQLite/PostgreSQL、ローカルメディアまたは Aliyun OSS、オプションのチーム認証スイッチ。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト