myccarl/ai-shortVideo-pipeline

What it solves

숏폼 영상 제작의 전체 프로세스를 자동화하여, 단일 명령만으로 게시 가능한 영상을 만들어냅니다. 뉴스 해설, 지식 설명, 스토리텔링과 같은 콘텐츠 유형을 구체적으로 타겟팅하며, 스크립트, 비주얼, 오디오를 위해 여러 AI 도구를 조정해야 하는 수동 작업의 번거로움을 제거합니다.

How it works

이 시스템은 FastAPI와 Java Spring Boot gateway에 의해 오케스트레이션되는 7계층 분리형 파이프라인 아키텍처를 사용합니다. 프로세스는 다음 단계로 흐릅니다:

1. Topic Discovery (L1): 트렌드 주제를 찾고 순위를 매깁니다.
2. Creative Generation (L2): 스크립트와 프롬프트를 생성합니다.
3. Visuals (L3): Kling AI와 같은 모델을 사용하여 이미지와 영상을 생성하며, CLIP 기반의 일관성 게이팅을 통해 비주얼이 프롬프트와 일치하는지 확인합니다.
4. Audio (L4): 텍스트-to-스피치 (TTS) 및 믹싱을 처리합니다.
5. Post-production (L5): 오디오-비디오 동기화 및 자막 생성을 관리합니다.
6. Distribution (L6): 최종 결과물을 클라이언트에 전달합니다.
7. Optimization (L7): 품질을 점수화하고 피드백을 수집합니다.

신뢰성을 보장하기 위해, 멀티 모델 페일오버, 서킷 브레이커, 속도 제한을 위한 Java gateway를 포함하며, Langfuse를 사용하여 풀스택 관측성을 제공합니다.

Who it’s for

콘텐츠 크리에이터 및 개발자, 특히 중국어 콘텐츠의 AI 생성 숏폼 영상을 대규모로 자동화 제작하고자 하는 분들을 대상으로 합니다.

Highlights

• Seven-layer architecture: 주제 발견부터 배포까지 분리된 단계.
• AI Consistency Governance: 프롬프트 앵커링과 CLIP 게이팅을 사용하여 비주얼 아이덴티티를 유지하고 프롬프트에서 벗어난 프레임을 거부합니다.
• Multi-model Failover: Java gateway를 통해 제공업체(DeepSeek, Qwen, GLM) 간에 자동으로 교체(rotation)되어 서비스 중단을 방지합니다.
• Production-ready Tooling: SSE progress streaming, trace_id를 통한 풀스택 트레이싱, 그리고 테넌트 기반의 미터링(metering) 기능을 포함합니다.