threerocks/sweety-handdraw-video

从主题或文章制作完整手绘讲解视频：按部位描线、逐字书写、VoiceStudio 配音、五项内置制作依赖。

它是什么

Sweety‑handdraw‑video 是一个开源“技能”，让由语言模型驱动的 Agent 将一段文本（主题、文章或完整故事）转化为手绘旁白视频。Agent 编写脚本、规划分镜并决定视觉风格。本地 Python 工具随后：

使用 Pillow/SciPy 逐笔绘制每个插图，
渲染手写字幕和屏幕文本，
将绘制步骤与预生成的配音同步，以及
使用 FFmpeg 将所有内容组装成 MP4。

该项目附带 21 种预定义插画风格、六种手部预设和六种内置配音配置。用户也可以提供自己的素材。

适用人群

内容创作者：希望制作短视频教育或故事视频，让观众实时看到绘制过程。
教师/培训师：希望快速将讲义转化为视觉解释。
营销人员或独立电影制作人：需要廉价、完全本地的管道来制作手绘解说视频。

工作原理（高层流程）

提示 Agent – 发送命令，例如 使用 $sweety-handdraw-video，把“为什么越生气，越容易做错决定”做成手绘讲解。Agent 会：
- 提取关键点，
- 编写旁白脚本，
- 创建分镜（场景顺序、时间），
- 选择视觉风格、手部预设和语音配置。
生成语音 – 要么：
- 运行本地 TTS 模型（Apple 芯片上的 VoxCPM2‑8bit，或自托管的 VoiceStudio 服务），或
- 导入已录制的完整旁白。
绘制每一帧 – Python 脚本使用 Pillow 来：
- 描边、填充颜色，并逐笔写字幕，
- 根据所选预设动画化手部图形。
同步 – 旁白的时间戳驱动每个绘制步骤的开始/结束。
导出 – FFmpeg 将图像序列、音频和可选字幕组合成 1920×1080 @ 30 fps 的 MP4。

所有产物（脚本、时间戳、生成的图像、音频）都会保存，以便您可以编辑单个部分（例如更改水印）而无需重新渲染整个视频。

主要功能

功能	它提供什么
21 种内置插画风格	从极简黑白线条艺术到水彩般的“暖光童画”。风格通过数字 ID（1‑20 + 3.1）标识，可以直接选择或让模型根据内容选择。
六种手部预设	不同的手部绘制（例如 `navy`、`diamond-woman`、`pen-only`），在绘制图片时出现。
六种配音配置	真实录制的“逼真男声”、“逼真女声”、“甜美学姐”等，以及使用本地 TTS 引擎（VoxCPM2 或 VoiceStudio）或现有音频文件的能力。
全管道自动化	从原始文本到最终 MP4 只需一条命令，只要安装了所需的本地工具（Python 3.9+、Pillow、NumPy、SciPy、FFmpeg、Bun、ExifTool）。
可编辑输出	脚本、时间戳、字幕、水印和笔杆文本分别存储，允许有针对性的重新渲染。
仅本地处理	不使用云视频生成服务；所有绘制和音频合成都在用户机器上进行。
基于技能安装	可以通过 `npx skills add threerocks/sweety-handdraw-video` 添加，或手动将文件夹复制到 Codex 风格的 Skills 目录。

快速开始（快速检查清单）

安装技能 – npx skills add threerocks/sweety-handdraw-video（或将 v1.2.3 版本解压到 ~/.codex/skills/）。

设置 Python 环境：

python3 -m venv .venv && source .venv/bin/activate
pip install -r skills/sweety-handdraw-video/scripts/requirements.txt
python skills/sweety-handdraw-video/scripts/validate_package.py

确保您有外部工具 – FFmpeg/ffprobe、中文字体、Bun + ExifTool，以及 TTS 后端（Apple 芯片上的 VoxCPM2 或本地运行的 VoiceStudio 服务）。
运行测试提示 – 向您的 Agent（例如 Codex）发送 README 中显示的示例命令。Agent 将回复计划，然后调用本地脚本生成视频。
查找结果 – 输出文件夹包含 video.mp4、封面 PNG、SRT 字幕文件、生成的脚本和时间戳日志。

限制与开放问题

平台支持 – 完整的端到端流程仅在 macOS/Linux 上使用 Apple 芯片（M3 Max）验证过。Windows 和其他硬件可能需要额外工作，尤其是 VoxCPM2 TTS 模型。
上游模型成本 – Agent 调用的图像生成和 TTS 模型可能是商业的或需要单独许可；仓库不包含它们。
无背景音乐 – 管道故意输出纯旁白；添加音乐需要手动后处理步骤。
批处理 – 该工具可以脚本化处理多个输入，但没有内置队列管理器；每个视频仍要经过完整的绘制和同步周期。
手写保真度 – 笔画遵循简单的轮廓然后填充算法；不保证正确的汉字笔画顺序或书法风格。

总结

sweety-handdraw-video 是一个真正的开源项目，结合了 LLM 驱动的规划和本地 Python 渲染，从纯文本生成手绘旁白视频。它附带现成的视觉风格、手部预设和语音配置，完全在用户机器上运行，面向希望快速制作可编辑解说视频而无需云服务的创作者。