andyhuo520/digital-human-koubo

AI digital-human talking-head videos from one photo: Renoise MCP generation + 5 editing styles + 48 creator-grade packaging components. Agent skill for Claude Code / Codex / OpenClaw / WorkBuddy …

Digital Human Koubo 是一个开源项目，可将 一张照片 + 一句话 转化为带有数字人主持人的完整口播视频。一切——脚本、唇形同步的 AI 主持人、语音清理、字幕和专业的 YouTuber 风格包装——均由 AI 代理自动完成。

功能

一张照片生成数字人 — 固定的主持人（面部、服装、语音描述）存储在 persona.json 中，因此每个视频都使用同一个人。您可以使用 GPT Image 将她合成到任何场景（演播室、商店、教室、街道），然后让她说话。
唇形同步的口播片段 — 脚本被分割为 ≤15 秒的片段，并通过 Renoise MCP 使用 Grok Video 1.5 生成。其他模型（Wan 3.0、OmniHuman）也有文档记录。
成本控制 — 代理始终先报价 片段数 · 秒数 · 积分 · 余额，并等待您的批准。它会先生成片段 1 供您检查，然后再批量生成其余部分。
质量控制 — 每个片段都用 whisper 转录并与脚本比较；每个片段检查 4 帧（Grok 有时会将字幕烧录到画面中；这些会被重新拍摄）。
语音统一 — 频谱匹配、去咝声、共享混响和响度归一化使 30 个单独生成的片段听起来像一次录音。
5 种编辑风格 — 代理诊断您的内容，推荐 2 种风格并附预览图像，并一次性询问您所有内容（风格、比例、长度、字幕强度、主持人）。
48 个包装组件 — 从 25 位顶级创作者（MrBeast、MKBHD、何同学等）逐帧测量。每种风格都有默认配方；您只需提出要求即可添加或删除技巧。
主持人背后的文字 — 背景与人之间的文字/数字（macOS Vision 人物分割 → 透明视频 → 3 层合成）。
多语言 — 已测试英语、日语、韩语、法语、西班牙语、阿拉伯语（whisper 回检 94–100%）。
与您的代理配合 — 标准的 SKILL.md 代理技能加脚本；任何能加载技能、连接远程 MCP 服务器并运行本地命令的代理都可以驱动它。

工作原理

设置检查（Renoise MCP / ffmpeg / whisper — 跳过已有的）。
诊断内容 → 推荐 5 种风格中的 2 种 → 询问一次 → brief.json。
脚本（每段 ≤15 秒，约 5.4 个中文字符/秒）。
报价积分 → 等待“是” → 生成片段 1 → 您检查 → 批量生成。
范围下载（CDN 安全）→ whisper 回检 → 帧检查。
语音统一（频谱匹配 + 去咝声 + 共享房间）。
词级时间线（tl.json）。
在 Remotion 中编辑：风格模板 + 默认包装（+ 您的请求）。
渲染 → 检查过渡中间帧 → 响度（-14 / -16 LUFS）。

支持的代理

Claude Code — 已测试，用它构建。
Codex — 预期可用。
OpenClaw、WorkBuddy、豆包、千问办公、纳米Work — 如果支持三个要求（技能、MCP、本地命令），应该可用。
Claude desktop / claude.ai — 可以规划、报价和生成片段，但本地编辑需要 shell 代理。

安装

克隆仓库。
将两个技能（digital-human-koubo 和 finance-explainer）安装到您的代理中（Claude Code、Codex，或为其他代理打包）。
连接 Renoise MCP（浏览器登录，无需 API 密钥）。
安装本地工具：ffmpeg、Python 3 + numpy + Pillow、Node.js 18+（Remotion）、whisper.cpp。
生成音效和占位音乐（不附带第三方音频）。
（可选）小米 MiMo TTS 用于设计/克隆声音 — 仅克隆您自己的或获得许可的声音。

快速开始

用自然语言与您的代理对话，例如：“使用我的数字人技能制作一个 30 秒的直播广告：WorkBuddy 课程，10 节课，¥99（原价 ¥999）。”代理会自动运行流程。

制作您自己的数字人

选择一张正面照片（光线均匀、头发不遮脸、嘴巴闭合）— 仅限您自己的或获得许可的照片。
使用 GPT Image 2.5 生成 4 视图（正面、侧面、背面）。
比较模型（Grok Video 1.5 vs Wan 3.0）并选择一个。
将参考上传到 Renoise，并将其 material:<id> 放入 persona.json。

五种编辑风格

风格	比例	长度	最适合
A 金融/科技解说	16:9	3–20 分钟	事件、数据、“为什么…”
B 网红口播	9:16	30–120 秒	产品推荐、销售、观点
C 发布拆解	16:9	30–90 秒	新产品/模型
D 分步教程	16:9	3–8 分钟	“如何…”、工具设置
E 多主持人 · 多语言 · 多场景	16:9	3–7 分钟	能力演示、全球化

风格 B 有三种字幕强度：克制 / 标准 / 活泼。

演示

README 中链接了六个完整视频（直播广告、产品推荐、文字背后、教程、发布拆解、金融解说）以及包装画廊。所有主持人都是 AI 数字人；男性主持人是作者自己的数字孪生。

许可证： MIT。所有演示均使用此仓库制作；27 秒广告的总成本为 482 Renoise 积分。