sorker/ai-shotlive

AI ShotLive Director – 一站式 AI 短剧 / 动态漫画制作平台

什么是它

• 一个 Web（以及通过 Electron 实现的桌面端）应用程序，让创作者能够将小说或故事大纲转化为完整的短视频或漫画。其工作流程已完全工业化：小说 → 剧本 → 分镜图 → 素材 → 关键帧 → 最终视频。
• 它本身不托管任何 AI 模型；相反，它通过一个薄适配器层调用外部的文本、图像、视频和音频 API（OpenAI, Anthropic, Google Gemini, AntSK 等）。

核心理念

• 关键帧驱动生成 – 系统首先为每个镜头创建一个起始帧和结束帧，然后使用视频模型对中间帧进行插值。这在保持视觉一致性的同时，减少了昂贵的视频生成量。
• 素材约束 – 角色“妆容”图像和场景概念图被用作每个生成帧的参考，以确保同一角色在不同镜头中看起来是一致的。
• 多模型支持 – 你可以混合搭配文本、图像、视频和音频的提供商，只需在 Model Config 页面更改 API 密钥即可进行模型切换。

主要模块

Phase	Functionality
01 – 小说与剧本	上传 .txt 小说，自动解析章节，选择章节以生成剧本；或者直接粘贴故事大纲。AI 会生成场景拆解、对话和视觉提示词。
02 – 素材与选角	生成角色参考图（带有服装变化）和场景概念图；上传自定义道具。
03 – Director Workbench	基于网格的分镜编辑器；编辑起始/结束关键帧；每个镜头的 9 宫格预览；上下文感知生成，可复用当前角色和场景图像；支持图像转视频 (I2V) 和关键帧插值模式。
04 – Export & Editing	时间轴预览，多轨视频编辑器（视频、音频、字幕、图像），AI 生成的字幕和 TTS 音频，然后导出为高分辨率帧或 MP4。
Account & Data	每用户隔离，密码更改，通过包含 MySQL/SQLite 数据和 data/ 媒体文件夹的 ZIP 包进行完整的项目/素材备份与恢复。

技术栈

• Frontend: React 19 + Vite 6, Tailwind CSS 4, Radix UI, Framer Motion.
• Backend: Express.js, JWT auth, MySQL 8 (或本地模式下的 SQLite).
• Desktop client: Electron 33 with better‑sqlite3; 构建版本适用于 macOS (Intel & Apple‑Silicon) 和 Windows.
• AI integration: 适配器层 (services/adapters) 用于规范化对任何支持的文本、图像、视频和音频生成提供商的调用。
• Deployment: Docker compose (带有可选的外部 MySQL) 或用于本地开发的简单 npm run dev.

创作者的典型工作流程

1. Log in (默认 admin/admin123 或注册).
2. Configure models – 为你想要使用的文本、图像、视频和音频服务添加 API 密钥。
3. Create a project → 上传小说或粘贴故事。
4. Generate a script – AI 将选定的章节重写为带有场景描述的剧本。
5. Produce assets – 生成角色形象手册 (look-books) 和场景概念图；上传任何自定义道具。
6. Storyboard – 编辑镜头，设置起始/结束关键帧，选择 9 宫格视图，并让视频模型渲染出片段。
7. Edit & polish – 使用内置的多轨编辑器来添加 AI 生成的字幕、TTS 语音包，或额外的媒体素材。
8. Export – 下载最终视频或单个高分辨率帧。

快速入门

# clone and install
git clone https://github.com/sorker/ai-shotlive.git
cd ai-shotlive
npm install
cp .env.example .env   # edit DB and JWT settings

# local SQLite mode (no external DB needed)
npm run build:local
npm run start:local   # http://localhost:3001

对于生产环境，你可以使用 Docker 文件 (docker-compose.yaml 或 docker-compose.mysql.yaml)。Electron 客户端可以通过 npm run build:electron 构建并分发发为 .dmg or .exe。

谁可能会使用它

• 想要在不学习视频编辑软件的情况下快速制作动画短片或动态漫画的独立创作者。
• 寻找可以根据自己的模型提供商进行定制的“剧本转视频”流水线的小型工作室。
• 演示 AI 增强型叙事或关键帧驱动视频生成的教育工作者。

License

• Creative Commons BY‑NC‑SA 4.0 – 免费用于个人和非商业用途，并要求在相同许可协议下分享衍生作品。

---

All details above are taken directly from the repository's README; no additional features were inferred.