gnipbao/story-to-handdrawn-video

解決する問題

このプロジェクトは、中国語の物語や画像の連続から、垂直方向の手描き風アニメーションを自動生成するものです。AIエージェントを用いてテキストから最終レンダリングまでのパイプライン全体を調整することで、ストーリーボード作成、イラスト生成、動画編集の手作業をすべて排除します。

動作方法

システムはコンテンツ生成とアニメーションレンダリングの2段階に分けて処理を行います。

1. エージェントオーケストレーション: AIエージェント（提供された「スキル」経由）がストーリーボードを計画し、キャラクターの一貫性を定義し、画像生成ツールを用いて手書きの中国語テキストとイラストを含む「マスターページ」を作成します。
2. アセット処理: ローカルスクリプトがこれらのマスターページを処理します。「レイヤードドローイング」モードでは、カラーマスターページからグレースケール版を抽出して、徐々に現れる効果を実現します。一方、「ページフリップ」モードでは、元のページをそのまま保持します。
3. レンダリング: Remotion を使ってこれらのアセットをアニメーション化します。テキスト、グレースケールアート、カラーリングを順次表示するか、右下隅からページをめくるようなリアルな効果をシミュレートします。
4. 出力: 結果は、後続のナレーションや音楽用に準備された、静音の3:4縦型MP4動画です。

対象ユーザー

• 物語中心のショート動画やデジタル絵本を作成するクリエイター。
• Claude Code、Codex、Kimi CodeなどのAIエージェントを利用し、テキストから視覚的物語を生成したいユーザー。
• 大量の組み込みアートスタイル（327種類）を活用して、さまざまな手描き風スタイルを実験したいアーティストやデザイナー。

特徴

• 豊富なスタイルライブラリ: 11カテゴリに分かれた297のスタイルレシピと30のカラーパレットを収録。
• スタイルの模倣: 参照画像の線、色、テクスチャを分析し、一致する視覚言語で新しい物語を生成できる機能。
• 統合テキスト: デジタルフォントを重ねるのではなく、アートワーク内に直接手書きの中国語テキストを生成。
• 柔軟なアニメーション: 漸進的な「描画」リーブ効果と、現実的なページフリップ遷移の両方をサポート。