JohnHeibel/PDoomVideo
Source code for the Claude Opus 5.5 music video for I'm Upping My P(doom)
本仓库说明
JohnHeibel/PDoomVideo 是一个完全由 Claude Opus 5.5 大型语言模型生成的音乐视频的源代码。该视频可视化了歌曲《I’m Upping My P(doom)》——剧本、分镜脚本、动画代码,甚至视觉风格均由模型生成,唯一的人类约束是使用特定角色设计(“Clawd”吉祥物)以及每句歌词都需呈现有趣的视觉效果。
运作方式
- 提示驱动生成 – 作者向 Claude Opus 提供简短说明(使用 Clawd,可视化每句歌词)。随后 Claude 生成了:
STORYBOARD.md– 逐镜头计划。ANIMATION_GUIDE.md– 用于实际编写动画代码的子代理的编码规范和风格指引。src/中的 JavaScript 文件,实现视频的九个章节。
- 渲染流水线 –
studio.html在浏览器(或无头 Chrome)中运行,使用 p5.js 和 p5.brush 库绘制每一帧。render.mjs驱动 Chrome 渲染帧,然后调用 ffmpeg 将帧与提供的音频(assets/pdoom.mp3)合并为 MP4。
- 两阶段生成 –
legacy/中的“旧版”版本是早期尝试;当前版本(仓库其余部分)是第二轮优化生成的结果。
内容概览
| 路径 | 内容 |
|---|---|
src/ch/ |
九个独立的 JavaScript 文件,分别代表视频的九个章节/场景。 |
src/ |
共享资源:角色定义(Clawd 及其客串角色)、道具、歌词文本,以及协调各元素出现时间的时间线。 |
studio.html |
最小化 HTML 页面,加载 p5.js/p5.brush 并运行单帧动画代码。 |
render.mjs |
Node 脚本,启动无头 Chrome,渲染帧范围,并可选地使用 ffmpeg 将其编码为 MP4。 |
STORYBOARD.md |
Claude 编写的每一场镜头、时间点和视觉构思的详细描述。 |
ANIMATION_GUIDE.md |
Claude 编写的编码风格指南,模型的子代理在编写动画脚本时遵循此规范。 |
legacy/ |
视频第一代生成的文件(旧提示和代码)。 |
assets/pdoom.mp3 |
最终视频中使用的音频轨道。 |
如何自行生成视频
- 安装 Node.js、Google Chrome 和 ffmpeg。
- 运行
npm install获取 JavaScript 依赖。 - 渲染帧(示例:渲染前 156.6 秒):
node render.mjs --frames=0:156.6 --workers=4 # 在 out/frames 生成 PNG - 将帧编码为 MP4 并添加原声:
如果 Chrome 不在默认 Windows 路径,请调整node render.mjs --encode --out=out/pdoom.mp4--chrome=<path>。
为何重要
此仓库展示了完整的创意流水线:大型语言模型不仅撰写文本,还生成可执行代码,从而生成视觉媒体。它证明了 AI 可用于:
- 无需人工干预的分镜脚本与艺术指导。
- 使用基于网络的图形库进行程序化动画。
- 任何人只要拥有相同工具即可复现的自动化渲染。
该项目是 AI 辅助内容创作的具象化案例,连接了自然语言提示与实时图形编程。
所有细节均直接取自仓库的 README。
相关
- 项目
- 项目
- 项目
- 项目