Alisa0808/vox-director

解決する課題

Vox Directorは、エディトリアルスタイルの「ペーパーコラージュ」風の解説動画や広告動画の作成を自動化します。単一のトピックから完成したMP4ファイルを作成することで、脚本作成、アセット作成、アニメーション、オーディオ同期といった手作業を排除します。

仕組み

このプロジェクトは、コーディングエージェント（Claude CodeやCodexなど）と統合して動作するエージェントスキルとして機能し、Atlas Cloud APIとローカルのffmpegを使用します。プロセスは以下の構造化されたパイプラインに従います：

1. Beat Mapping: ナラティブアークが選択され、ユーザーの承認を得るためにbeats.jsonファイルが作成されます。
2. Style Bake-off: ユーザーが希望のルックを選択できるよう、複数のビジュアルテーマがレンダリングされます。
3. Keyframe Generation: テキストtoイメージモデルを使用して、各ビートに対して高品質なコラージュポスターが生成されます。
4. Motion: これらのポスターは、image-to-videoモデルまたはローカルのキーフレームエンジンを介して、ピースバイピースのアセンブリのためにアニメーション化されます。
5. Audio: TTSおよび音楽モデルを使用して、ナレーションとバックグラウンドミュージックが生成されます。
6. Assembly: ffmpegを使用して、クリップの結合、ボイスオーバーの下での音楽のダッキング、キャプションの焼き付けを行います。

3つの入力モダリティをサポートしています：B-roll（トピックから動画へ）、A-roll（既存のトークビデオの再スタイリング）、C-roll（単一の静止画をコラージュに組み込む）。

対象者

プロフェッショナルなモーショングラフィックスソフトウェアを必要とせず、AIエージェントを使用して高品質でスタイリッシュな解説動画を迅速に制作したいコンテンツクリエイター、マーケター、開発者。

ハイライト

• 自動化されたコラージュ美学: 切り紙、ハーフトーン・ドット、新聞の切り抜きなど、特に「Voxスタイル」のルックをターゲットにしています。
• マルチモーダル入力: テキストトピック、既存の動画、または単一の写真から動画を生成できます。
• エージェント統合: コーディングエージェントがスキルとして発見し、実行できるように設計されています。
• Human-in-the-loop: ナラティブ構造とビジュアルスタイルを承認するための決定ゲートが含まれています。