zcbacxc/movie-narrator

🎬 Generate narrated movie recap videos from a single prompt.

解決的問題

Movie Narrator 自動化電影回顧影片的製作。它消除了手動撰寫劇本、錄製旁白、生成字幕和剪輯片段的繁瑣工作，讓使用者僅需一個提示即可生成完整的旁白影片。

工作原理

此專案使用16步順序式流程，將電影標題轉化為成品影片：

  1. 內容生成：使用LLM透過TMDB研究劇情，並根據所選視角（例如全知視角或偵探視角）撰寫回顧劇本。
  2. 音訊與字幕：使用TTS（預設為Edge-TTS）將劇本轉換為語音，並生成同步的SRT字幕，支援多語言翻譯。
  3. 視覺合成：偵測來源影片中的場景，與劇本段落進行匹配，並整合背景音樂。
  4. 渲染：將最終素材渲染為1080p或4K影片，支援多種格式（例如16:9或9:16）。

適用對象

專為在社交媒體或YouTube、TikTok等平台製作電影回顧影片的內容創作者設計，也適合尋找可擴展自動化影片旁白框架的開發者。

主要亮點

  • 多候選「賽馬」機制：生成多個劇本變體，並自動選擇最佳版本。
  • 參考風格模仿：可從熱門參考影片中提取旁白風格，並套用至新電影。
  • VLM整合：透過雲端API使用視覺語言模型（VLM）進行場景字幕生成。
  • 彈性基礎設施：支援多種OpenAI相容LLM（Ollama、Zhipu等）與多個TTS供應商。
  • QA檢測門：自動檢測最終輸出中的黑畫面或幻燈片式風險。

相關

  • 專案
    AceDataCloud/Nexior

    Nexior 是一個 MIT 許可的 Vue 基礎應用，將 40 多個聊天、影像、音訊與影片 AI 模型整合到一個可自托管的統一介面中。支援一鍵 Vercel 或 Docker 部署，BYOK 或單一 AceData 金鑰，內建使用者帳戶、付款與推薦機制，是 AI 產品即用型 SaaS 的理想起點。

  • 專案
    xeronsh/openOii

    一個使用 LangGraph 協調從故事構思到最終影片合成的多代理流程的 AI 漫畫影片生成專案

  • 專案
    deepmodeling/dpgen

    DP‑GEN is a Python platform that automates the creation of deep‑learning interatomic potentials (Deep Potential models). It runs a concurrent learning loop—sampling structures, selecting the most informative ones for DFT calculations, and retraining the model—while handling job scheduling on HPC clusters and interfacing with many MD and quantum‑chemistry codes.

  • 專案
    Wakals/CoVT

    CoVT 是一個使視覺語言模型能夠使用連續視覺令牌進行推理的框架，透過將語意思考根植於感知線索，提升其空間推理能力與幾何意識。