JohnHeibel/PDoomVideo

Source code for the Claude Opus 5.5 music video for I'm Upping My P(doom)

本仓库说明

JohnHeibel/PDoomVideo 是一个完全由 Claude Opus 5.5 大型语言模型生成的音乐视频的源代码。该视频可视化了歌曲《I’m Upping My P(doom)》——剧本、分镜脚本、动画代码,甚至视觉风格均由模型生成,唯一的人类约束是使用特定角色设计(“Clawd”吉祥物)以及每句歌词都需呈现有趣的视觉效果。

运作方式

  1. 提示驱动生成 – 作者向 Claude Opus 提供简短说明(使用 Clawd,可视化每句歌词)。随后 Claude 生成了:
    • STORYBOARD.md – 逐镜头计划。
    • ANIMATION_GUIDE.md – 用于实际编写动画代码的子代理的编码规范和风格指引。
    • src/ 中的 JavaScript 文件,实现视频的九个章节。
  2. 渲染流水线 –
    • studio.html 在浏览器(或无头 Chrome)中运行,使用 p5.js 和 p5.brush 库绘制每一帧。
    • render.mjs 驱动 Chrome 渲染帧,然后调用 ffmpeg 将帧与提供的音频(assets/pdoom.mp3)合并为 MP4。
  3. 两阶段生成 – legacy/ 中的“旧版”版本是早期尝试;当前版本(仓库其余部分)是第二轮优化生成的结果。

内容概览

路径 内容
src/ch/ 九个独立的 JavaScript 文件,分别代表视频的九个章节/场景。
src/ 共享资源:角色定义(Clawd 及其客串角色)、道具、歌词文本,以及协调各元素出现时间的时间线。
studio.html 最小化 HTML 页面,加载 p5.js/p5.brush 并运行单帧动画代码。
render.mjs Node 脚本,启动无头 Chrome,渲染帧范围,并可选地使用 ffmpeg 将其编码为 MP4。
STORYBOARD.md Claude 编写的每一场镜头、时间点和视觉构思的详细描述。
ANIMATION_GUIDE.md Claude 编写的编码风格指南,模型的子代理在编写动画脚本时遵循此规范。
legacy/ 视频第一代生成的文件(旧提示和代码)。
assets/pdoom.mp3 最终视频中使用的音频轨道。

如何自行生成视频

  1. 安装 Node.js、Google Chrome 和 ffmpeg。
  2. 运行 npm install 获取 JavaScript 依赖。
  3. 渲染帧(示例:渲染前 156.6 秒):
    node render.mjs --frames=0:156.6 --workers=4   # 在 out/frames 生成 PNG
    
  4. 将帧编码为 MP4 并添加原声:
    node render.mjs --encode --out=out/pdoom.mp4
    
    如果 Chrome 不在默认 Windows 路径,请调整 --chrome=<path>。

为何重要

此仓库展示了完整的创意流水线:大型语言模型不仅撰写文本,还生成可执行代码,从而生成视觉媒体。它证明了 AI 可用于:

  • 无需人工干预的分镜脚本与艺术指导。
  • 使用基于网络的图形库进行程序化动画。
  • 任何人只要拥有相同工具即可复现的自动化渲染。

该项目是 AI 辅助内容创作的具象化案例,连接了自然语言提示与实时图形编程。


所有细节均直接取自仓库的 README。

相关

  • 项目
  • 项目
  • 项目
  • 项目