sorker/ai-shotlive
AI 短剧,小说、剧本、分镜、提示词、关键帧、视频、AI剪辑的一站式服务。参考shuyu-labs/BigBanana-AI-Director、shamsharoon/CutOS、Will-Water/CineGen-AI以及HBAI-Ltd/Toonflow-app项目修改的。提供前后端分离和用户服务。
AI ShotLive Director – 一站式 AI 短劇 / 動態漫畫製作平台
這是什麼
- 一個網頁(以及透過 Electron 的桌面版)應用程式,讓創作者能將小說或故事大綱轉換為完整長度的短影片或漫畫。工作流程完全工業化:小說 → 腳本 → 分鏡圖 → 資產 → 關鍵幀 → 最終影片。
- 它本身不托管任何 AI 模型;相反地,它透過一層輕量的適配器層,調用外部的文字、影像、影片和音訊 API(OpenAI、Anthropic、Google Gemini、AntSK 等)。
核心理念
- 關鍵幀驅動生成 – 系統首先為每個鏡頭生成起始幀和結束幀,然後使用影片模型插值中間幀。這能保持視覺一致性,同時減少昂貴的影片生成量。
- 資產限制 – 使用角色「外貌」影像和場景概念藝術作為每張生成幀的參考,確保角色在不同鏡頭中看起來一致。
- 多模型支援 – 您可以自由混合搭配文字、影像、影片和音訊的提供者,只需在 Model Config 頁面更換 API 金鑰即可切換模型。
主要模組
| 階段 | 功能 |
|---|---|
| 01 – 小說與腳本 | 上傳 .txt 小說,自動解析章節,選擇要生成劇集腳本的章節;或直接貼上故事大綱。AI 會產生場景拆解、對白和視覺提示。 |
| 02 – 資產與選角 | 生成角色參考影像(含服裝變體)和場景概念藝術;上傳自訂道具。 |
| 03 – 導演工作台 | 基於格子的分鏡圖編輯器;編輯第一/最後關鍵幀;每鏡頭的 9 格預覽;情境感知生成,重用當前角色與場景影像;支援影像轉影片(I2V)與關鍵幀插值模式。 |
| 04 – 導出與編輯 | 時間軸預覽,多軌影片編輯器(影片、音訊、字幕、影像),AI 生成字幕與 TTS 音訊,最後可導出為高解析度幀或 MP4。 |
| 帳戶與資料 | 個人使用者隔離,密碼變更,透過包含 MySQL/SQLite 資料庫與 data/ 媒體資料夾的 ZIP 檔案進行完整專案/資產備份與還原。 |
技術堆疊
- 前端:React 19 + Vite 6,Tailwind CSS 4,Radix UI,Framer Motion。
- 後端:Express.js,JWT 認證,MySQL 8(或本地模式使用 SQLite)。
- 桌面客戶端:Electron 33 搭配
better‑sqlite3;支援 macOS(Intel 與 Apple-Silicon)與 Windows 的建置。 - AI 整合:適配器層(
services/adapters)將任何支援提供者的聊天、影像、影片與音訊生成呼叫標準化。 - 部署:Docker compose(可選外部 MySQL)或簡單的
npm run dev用於本地開發。
創作者的典型工作流程
- 登入(預設 admin/admin123 或註冊)。
- 設定模型 – 加入您想使用的文字、影像、影片與音訊服務的 API 金鑰。
- 建立專案 → 上傳小說或貼上故事。
- 生成腳本 – AI 將選定章節重寫為包含場景描述的劇本。
- 產製資產 – 生成角色造型手冊與場景概念藝術;上傳任何自訂道具。
- 分鏡 – 編輯鏡頭,設定第一/最後關鍵幀,選擇 9 格檢視,讓影片模型渲染片段。
- 編輯與潤飾 – 使用內建的多軌編輯器加入 AI 生成的字幕、TTS 話音或額外媒體。
- 導出 – 下載最終影片或單獨的高解析度幀。
快速上手
# 克隆並安裝
git clone https://github.com/sorker/ai-shotlive.git
cd ai-shotlive
npm install
cp .env.example .env # 編輯 DB 與 JWT 設定
# 本地 SQLite 模式(無需外部資料庫)
npm run build:local
npm run start:local # http://localhost:3001
生產環境可使用 Docker 檔案(docker-compose.yaml 或 docker-compose.mysql.yaml)。Electron 客戶端可透過 npm run build:electron 建置,並以 .dmg 或 .exe 分發。
誰會使用它
- 希望在不學習影片編輯軟體的情況下,快速原型製作動畫短片或動態漫畫的獨立創作者。
- 尋找可客製化模型提供者的快速「腳本到影片」流程的小型工作室。
- 用來示範 AI 增強敘事或關鍵幀驅動影片生成的教育工作者。
授權
- Creative Commons BY‑NC‑SA 4.0 – 個人與非商業用途免費,衍生作品必須以相同授權方式分享。
以上所有細節均直接取自倉儲的 README;未推論任何額外功能。
相關
- 專案
- 專案
- 專案
- 專案