SamurAIGPT/Text-To-Video-AI

Generate video from text using AI

What it solves

此專案提供一條自動化管線，將簡單的文字主題轉換為完整影片，省去手動撰寫腳本、錄製配音與蒐集素材的需求。它特別適合製作短影片內容的創作者，如 YouTube Shorts、Instagram Reels 與 TikTok。

How it works

系統協調多個 AI 模型，端到端建構影片：

  1. Scripting：使用 LLM（OpenAI、Groq 或 Google Gemini）根據使用者主題產生腳本。
  2. Voiceover：使用 EdgeTTS 或 ElevenLabs 將腳本轉換為語音。
  3. Visuals：從 Pexels 抓取相關 B‑roll 影片，或透過 Muapi API 產生 AI 影片片段（支援 Google Veo、Sora 與 Kling 等模型）。
  4. Captions：使用 Whisper 或 Deepgram 產生時間戳字幕，與音訊同步。
  5. Composition：使用 React/Remotion 合成引擎將上述元素合併成最終影片檔案。

Who it’s for

內容創作者、教育者與社群媒體經理，想要快速產出高品質旁白影片，且不需專業剪輯軟體。

Highlights

  • Flexible AI Providers：支援多家 LLM、TTS 與 STT 供應商。
  • AI Video Integration：整合 Muapi，使用最前沿的文字轉影片模型。
  • Customizable Styling：完整控制字幕字型、顏色與影片方向（直式或橫式）。
  • Multiple Deployment Options：可本機執行、於 Google Colab 執行，或透過受管控的 Premium API 使用。