vox-director: 単一のトピックからエディトリアルなペーパーコラージュ解説動画を作成するための自動化パイプライン
解決する課題
Vox Directorは、高品質でエディトリアルスタイルの「ペーパーコラージュ」解説動画や広告動画の作成を自動化します。スクリプト作成、キーフレームのデザイン、アニメーション、オーディオの追加といった手作業の労力を排除し、ユーザーが単一のトピックから完成した動画ファイルを作成できるようにします。
仕組み
このプロジェクトは、コーディングエージェント（Claude CodeやCodexなど）やAtlas Cloud APIと統合されるエージェントスキルとして動作します。beats.jsonファイルによって駆動される構造化されたパイプラインに従います：
- Beat Mapping: ユーザーの承認を得るためのナラティブアーク（物語の構成）と一連のビート（展開）を生成します。
- Style Bake-off: ユーザーが視覚的なルックを選択できるように、いくつかのテーマオプションをレンダリングします。
- Keyframe Generation: テキストから画像を生成するモデルを使用して、各ビートに対してリッチなコラージュポスターを作成します。
- Motion: 画像から動画を生成するモデル、または精密なパーツごとの組み立てを行うためのローカルなキーフレームエンジンを使用して、ポスターをアニメーション化します。
- Audio: TTSを介してナレーションを生成し、バックグラウンドミュージックを追加します。
- Assembly:
ffmpegを使用してすべての要素を組み合わせ、ナレーションに合わせて音楽の音量を下げ（ダッキング）、キャプションを焼き込みます。
3つの入力モードをサポートしています：B-roll（トピックから動画へ）、A-roll（既存のトークヘッド動画の再スタイリング）、およびC-roll（単一の静止画をコラージュ環境に固定する）。
対象ユーザー
コンテンツクリエイター、マーケター、および、手動の動画編集ソフトウェアを使用せずに、プロフェッショナルに見えるテンポの速い教育用またはプロモーション用動画を制作したいコーディングエージェントのユーザー。
ハイライト
- エンドツーエンドの自動化: スクリプトから最終的な
.mp4まで、すべてを処理します。 - マルチモーダル入力: テキストのトピック、既存の動画、または単一の画像から開始することをサポートしています。
- Human-in-the-loop: ナラティブ構造と視覚的スタイルの承認のための決定ゲートが含まれています。
- 統合されたAIスタック: Atlas Cloudを介して、画像生成、動画アニメーション、ボイスクローニング、および音楽生成のためのさまざまな特化型モデルを活用しています。