sorker/ai-shotlive

AI 短剧,小说、剧本、分镜、提示词、关键帧、视频、AI剪辑的一站式服务。参考shuyu-labs/BigBanana-AI-Director、shamsharoon/CutOS、Will-Water/CineGen-AI以及HBAI-Ltd/Toonflow-app项目修改的。提供前后端分离和用户服务。

AI ShotLive Director – 一站式 AI 短劇 / 動態漫畫製作平台

這是什麼

  • 一個網頁(以及透過 Electron 的桌面版)應用程式,讓創作者能將小說或故事大綱轉換為完整長度的短影片或漫畫。工作流程完全工業化:小說 → 腳本 → 分鏡圖 → 資產 → 關鍵幀 → 最終影片
  • 它本身不托管任何 AI 模型;相反地,它透過一層輕量的適配器層,調用外部的文字、影像、影片和音訊 API(OpenAI、Anthropic、Google Gemini、AntSK 等)。

核心理念

  • 關鍵幀驅動生成 – 系統首先為每個鏡頭生成起始幀和結束幀,然後使用影片模型插值中間幀。這能保持視覺一致性,同時減少昂貴的影片生成量。
  • 資產限制 – 使用角色「外貌」影像和場景概念藝術作為每張生成幀的參考,確保角色在不同鏡頭中看起來一致。
  • 多模型支援 – 您可以自由混合搭配文字、影像、影片和音訊的提供者,只需在 Model Config 頁面更換 API 金鑰即可切換模型。

主要模組

階段 功能
01 – 小說與腳本 上傳 .txt 小說,自動解析章節,選擇要生成劇集腳本的章節;或直接貼上故事大綱。AI 會產生場景拆解、對白和視覺提示。
02 – 資產與選角 生成角色參考影像(含服裝變體)和場景概念藝術;上傳自訂道具。
03 – 導演工作台 基於格子的分鏡圖編輯器;編輯第一/最後關鍵幀;每鏡頭的 9 格預覽;情境感知生成,重用當前角色與場景影像;支援影像轉影片(I2V)與關鍵幀插值模式。
04 – 導出與編輯 時間軸預覽,多軌影片編輯器(影片、音訊、字幕、影像),AI 生成字幕與 TTS 音訊,最後可導出為高解析度幀或 MP4。
帳戶與資料 個人使用者隔離,密碼變更,透過包含 MySQL/SQLite 資料庫與 data/ 媒體資料夾的 ZIP 檔案進行完整專案/資產備份與還原。

技術堆疊

  • 前端:React 19 + Vite 6,Tailwind CSS 4,Radix UI,Framer Motion。
  • 後端:Express.js,JWT 認證,MySQL 8(或本地模式使用 SQLite)。
  • 桌面客戶端:Electron 33 搭配 better‑sqlite3;支援 macOS(Intel 與 Apple-Silicon)與 Windows 的建置。
  • AI 整合:適配器層(services/adapters)將任何支援提供者的聊天、影像、影片與音訊生成呼叫標準化。
  • 部署:Docker compose(可選外部 MySQL)或簡單的 npm run dev 用於本地開發。

創作者的典型工作流程

  1. 登入(預設 admin/admin123 或註冊)。
  2. 設定模型 – 加入您想使用的文字、影像、影片與音訊服務的 API 金鑰。
  3. 建立專案 → 上傳小說或貼上故事。
  4. 生成腳本 – AI 將選定章節重寫為包含場景描述的劇本。
  5. 產製資產 – 生成角色造型手冊與場景概念藝術;上傳任何自訂道具。
  6. 分鏡 – 編輯鏡頭,設定第一/最後關鍵幀,選擇 9 格檢視,讓影片模型渲染片段。
  7. 編輯與潤飾 – 使用內建的多軌編輯器加入 AI 生成的字幕、TTS 話音或額外媒體。
  8. 導出 – 下載最終影片或單獨的高解析度幀。

快速上手

# 克隆並安裝
git clone https://github.com/sorker/ai-shotlive.git
cd ai-shotlive
npm install
cp .env.example .env   # 編輯 DB 與 JWT 設定

# 本地 SQLite 模式(無需外部資料庫)
npm run build:local
npm run start:local   # http://localhost:3001

生產環境可使用 Docker 檔案(docker-compose.yamldocker-compose.mysql.yaml)。Electron 客戶端可透過 npm run build:electron 建置,並以 .dmg.exe 分發。

誰會使用它

  • 希望在不學習影片編輯軟體的情況下,快速原型製作動畫短片或動態漫畫的獨立創作者。
  • 尋找可客製化模型提供者的快速「腳本到影片」流程的小型工作室。
  • 用來示範 AI 增強敘事或關鍵幀驅動影片生成的教育工作者。

授權

  • Creative Commons BY‑NC‑SA 4.0 – 個人與非商業用途免費,衍生作品必須以相同授權方式分享。

以上所有細節均直接取自倉儲的 README;未推論任何額外功能。

相關

  • 專案
  • 專案
  • 專案
  • 專案