myccarl/ai-shortVideo-pipeline

What it solves

ショートフォーム動画の制作プロセス全体を自動化し、単一のコマンドから公開可能な動画を公開できる状態にします。ニュース解説、知識解説、ストーリーテリングなどのコンテンツタイプをターゲットとし、スクリプト、ビジュアル、オーディオのための複数のAIツールを調整する手動の労力が必要な作業を排除します。

How it works

本システムは、FastAPI と Java Spring Boot gateway によってオーケストレーションされる 7 層の分離されたパイプラインアーキテクチャを使用しています。プロセスは以下のステージングングショットに流れます：

1. Topic Discovery (L1): トピックの発見とトレンドのランキング。

2. Creative Generation (L2): スクリプトとプロンプトの生成。

3. Visuals (L3): Kling AI などのモデルを使用して画像や動画を生成し、CLIP-based 一致性ゲーティングを使用してビジュアルがプロンプトに一致するかを確認します。

4. Audio (L4): TTS (テキスト-to-speech) とミキシング。

5. Post-production (L5): 音声と映像の同期およびキャプション生成。

6. Distribution (L6): 最終製品をクライアントに配信。

7. Optimization (L7): 品質スコアリングとフィードバックの収集。

信頼性を確保するため、マルチモデル・フェイルオーバー、サーキットブレーカー、レート制限を実現する Java gateway を含み、Langfuse を使用してフルスタックの observability 観測性を提供します。

Who it’s for

コンテンツクリエイターや、特に中国語コンテンツの AI 生成ショート動画を大規模に自動化制作したい開発者。

Highlights

• Seven-layer architecture: トピックの発見から配信まで、各ステージが分離されています。

• AI Consistency Governance: プロンプトアンカリングと CLIP ゲーティングを使用して、ビジュアルのアイデンティティを維持し、プロンプトに沿わないフレームを拒否します。

• Multi-model Failover: Java gateway を介してプロバイダー (DeepSeek, Qwen, GLM) 間で自動的にローテーションを行います、停滞を防止します。

• Production-ready Tooling: SSE progress streaming、trace_id によるフルスタック・トレーシング、およびテナントベースのメーリング (metering) 計測が可能です。