myccarl/ai-shortVideo-pipeline

What it solves

它自動化了製作短影音的整個過程，將單一指令轉換為可直接發布的影片。它特別針對新聞評論、知識解說與說故事等內容類型，消除了協調多個 AI 工具進行腳本、視覺與音訊製作時所需的繁瑣手動操作。

How it works

該系統採用由 FastAPI 和 Java Spring Boot gateway 協調的七層解耦流程架構。流程經過以下階段：

1. Topic Discovery (L1): 尋找並對熱門主題進行排名。
2. Creative Generation (L2): 生成腳本與提示詞。
3. Visuals (L3): 使用 Kling AI 等模型製作影像與影片，並透過基於 CLIP 的一致性閘道來確保視覺效果與提示詞相符。
4. Audio (L4): 處理文字轉語音 (TTS) 與混音。
5. Post-production (L5): 管理音訊與影片的同步與字幕生成。
6. Distribution (L6): 交付最終產品給客戶。
7. Optimization (L7): 對品質進行評分並收集回饋。

為了確保可靠性，系統包含一個 Java gateway 用於多模型故障轉移 (failover)、斷路器 (circuit breakers) 與速率限制 (rate limiting)，同時使用 Langfuse 進行全棧觀測性。

Who it’s for

內容創作者與開發者，特別是希望大規模自動化製作 AI 生成的短影音內容（尤其是中文內容）的人士。

Highlights

• Seven-layer architecture: 從主題發現到發布的解耦階段。
• AI Consistency Governance: 使用提示詞錨定與 CLIP 閘道來維持視覺一致性並拒絕不符合提示詞的影格。
• Multi-model Failover: 透過 Java gateway 在不同供應商 (DeepSeek, Qwen, GLM) 之間自動切換，以防止服務中斷。
• Production-ready Tooling: 包含 SSE progress streaming、使用 trace_id 的全棧追蹤與租戶制計費。