myccarl/ai-shortVideo-pipeline

What it solves

它自动化了制作短视频的整个过程，将单个指令转换为可直接发布的视频。它特别针对新闻评论、知识讲解、和故事讲述等内容类型，消除了协调多个 AI 工具进行脚本、视觉和音频制作时所需的繁琐手动操作。

How it works

该系统采用由 FastAPI 和 Java Spring Boot gateway 协调的七层解耦流水线架构。流程经过以下阶段：

1. Topic Discovery (L1): 寻找并对热门主题进行排名。
2. Creative Generation (L2): 生成脚本和提示词。
3. Visuals (L3): 使用 Kling AI 等模型制作图像和视频，并配合基于 CLIP 的一致性闸门，以确保视觉效果与提示词相符。
4. ** Audio (L4)**: 处理文本转语音 (TTS) 和混音。
5. Post-production (L5): 管理音频-视频同步与字幕。
6. Distribution (L6): 交付最终产品给客户。
7. Optimization (L7): 对质量进行评分并收集反馈。

为了确保可靠性，系统包含一个 Java gateway 用于多模型故障转移 (failover)、熔断器 (circuit breakers) 和限流 (rate limiting)，同时使用 Langfuse 进行全栈观测性。

Who it’s for

内容创作者和开发者，特别是希望大规模自动化制作 AI 生成的短视频内容（尤其是中文内容）。

Highlights

• Seven-layer architecture: 从主题主题发现到分发的 解耦阶段。
• AI Consistency Governance: 使用提示词锚定和 CLIP 闸门来维持视觉一致性并拒绝偏离提示词的帧。
• Multi-model Failover: 通过 Java gateway 在不同供应商 (DeepSeek, Qwen, GLM) 之间自动轮换，以防止停机。
• Production-ready Tooling: 包含 SSE progress streaming、使用 trace_id 的全栈追踪与基于租户的计量计费。