andyhuo520/digital-human-koubo

Digital Human Koubo は、1枚の写真 + 1つの文章 を、デジタルヒューマン司会者による完成したトーキングヘッド動画に変換するオープンソースプロジェクトです。スクリプト、リップシンクされたAI司会者、音声クリーンアップ、キャプション、プロのYouTuber風パッケージングまで、すべてAIエージェントが自動化します。

機能

• 1枚の写真からデジタルヒューマン — 固定の司会者（顔、服装、声の説明）は persona.json に保存され、すべての動画で同じ人物が使用されます。GPT Imageを使用して彼女を任意のシーン（スタジオ、店舗、教室、街頭）に合成し、話させることができます。
• リップシンクされたトーキングクリップ — スクリプトは≤15秒のセグメントに分割され、Renoise MCP を介して Grok Video 1.5 で生成されます。他のモデル（Wan 3.0、OmniHuman）も文書化されています。
• コストゲート — エージェントは常に セグメント数・秒数・クレジット・残高 を最初に提示し、承認を待ちます。残りをバッチ処理する前に、セグメント1を生成して確認してもらいます。
• 品質管理 — 各セグメントはwhisperで文字起こしされ、スクリプトと比較されます。各セグメントの4フレームが検査されます（Grokが字幕を画像に焼き付けることがあり、その場合は再撮影されます）。
• 音声統一 — スペクトラルマッチング、デエッシング、共有リバーブ、ラウドネス正規化により、30個の個別生成クリップが1つの録音のように聞こえます。
• 5つの編集スタイル — エージェントがコンテンツを診断し、プレビュー画像付きで2つのスタイルを推奨し、すべてを一度に尋ねます（スタイル、比率、長さ、キャプション強度、司会者）。
• 48のパッケージングコンポーネント — 25人のトップクリエイター（MrBeast、MKBHD、何同学など）からフレーム単位で測定。各スタイルにはデフォルトレシピがあり、リクエストするだけでテクニックを追加/削除できます。
• 司会者の背後にあるテキスト — 背景と人物の間にある大きな文字/数字（macOS Vision人物セグメンテーション→透明ビデオ→3層合成）。
• 多言語 — 英語、日本語、韓国語、フランス語、スペイン語、アラビア語でテスト済み（whisperバックチェック94–100%）。
• エージェントと連携 — 標準の SKILL.md エージェントスキルとスクリプト。スキルをロードし、リモートMCPサーバーに接続し、ローカルコマンドを実行できるエージェントなら駆動できます。

仕組み

1. セットアップチェック（Renoise MCP / ffmpeg / whisper — 既存のものはスキップ）。
2. コンテンツを診断 → 5つのスタイルから2つを推奨 → 一度だけ尋ねる → brief.json。
3. スクリプト（セグメントあたり≤15秒、約5.4中国語文字/秒）。
4. クレジットを提示 → 「はい」を待つ → セグメント1を生成 → 確認 → バッチ処理。
5. レンジダウンロード（CDNセーフ）→ whisperバックチェック → フレームチェック。
6. 音声統一（スペクトラルマッチ + デエッサー + 共有ルーム）。
7. ワードレベルタイムライン（tl.json）。
8. Remotionで編集：スタイルテンプレート + デフォルトパッケージング（+ リクエスト）。
9. レンダリング → トランジション中間フレームをチェック → ラウドネス（-14 / -16 LUFS）。

対応エージェント

• Claude Code — テスト済み、これで構築。
• Codex — 動作する見込み。
• OpenClaw、WorkBuddy、豆包、千问办公、纳米Work — 3つの要件（スキル、MCP、ローカルコマンド）をサポートしていれば動作するはず。
• Claude desktop / claude.ai — 計画、見積もり、クリップ生成は可能ですが、ローカル編集にはシェルエージェントが必要です。

インストール

1. リポジトリをクローン。
2. 2つのスキル（digital-human-koubo と finance-explainer）をエージェントにインストール（Claude Code、Codex、または他のエージェント用にzip）。
3. Renoise MCPに接続（ブラウザログイン、APIキー不要）。
4. ローカルツールをインストール：ffmpeg、Python 3 + numpy + Pillow、Node.js 18+（Remotion）、whisper.cpp。
5. 効果音とプレースホルダー音楽を生成（サードパーティのオーディオは同梱されません）。
6. （オプション）Xiaomi MiMo TTS for designed/cloned voices — 自分の声または許可を得た声のみクローン。

クイックスタート

エージェントに平易な言葉で話しかけます。例：「私のデジタルヒューマンスキルを使って30秒のライブストリーム広告を作って：WorkBuddyコース、10レッスン、¥99（元値¥999）。」エージェントが自動的にパイプラインを実行します。

自分のデジタルヒューマンを作る

1. 正面写真を選ぶ（均一な照明、髪が顔にかからない、口を閉じる）— 自分の写真または許可を得た写真のみ。
2. GPT Image 2.5で4ビューシート（正面、側面、背面）を生成。
3. モデルを比較（Grok Video 1.5 vs Wan 3.0）して選択。
4. 参照をRenoiseにアップロードし、その material:<id> を persona.json に入れる。

5つの編集スタイル

スタイル	比率	長さ	最適な用途
A 金融/テック解説	16:9	3–20分	イベント、データ、「なぜ…」
B インフルエンサートーキングヘッド	9:16	30–120秒	商品ピック、セール、意見
C 発売ブレークダウン	16:9	30–90秒	新製品/モデル
D ステップバイステップチュートリアル	16:9	3–8分	「方法…」、ツール設定
E マルチホスト・多言語・マルチシーン	16:9	3–7分	能力デモ、グローバル展開

スタイルBには3つのキャプション強度があります：控えめ / 標準 / 活発。

デモ

READMEに6つの完全な動画（ライブストリーム広告、商品推薦、テキスト背景、チュートリアル、発売ブレークダウン、金融解説）とパッケージングギャラリーへのリンクがあります。すべての司会者はAIデジタルヒューマンです。男性司会者は作者自身のデジタルツインです。

ライセンス： MIT。すべてのデモはこのリポジトリで制作されました。27秒の広告の総コストは482 Renoiseクレジットでした。