andyhuo520/digital-human-koubo

Digital Human Koubo는 사진 한 장 + 문장 하나를 디지털 휴먼 프레젠터가 등장하는 완성된 토킹헤드 비디오로 변환하는 오픈소스 프로젝트입니다. 스크립트, 립싱크된 AI 프레젠터, 음성 정리, 자막, 프로 유튜버 스타일 패키징까지 모든 것이 AI 에이전트에 의해 자동화됩니다.

기능

• 사진 한 장으로 디지털 휴먼 — 고정된 프레젠터(얼굴, 의상, 음성 설명)는 persona.json에 저장되어 모든 비디오에서 동일한 사람이 사용됩니다. GPT Image를 사용하여 그녀를 어떤 장면(스튜디오, 상점, 교실, 거리)에 합성하고 말하게 할 수 있습니다.
• 립싱크된 토킹 클립 — 스크립트는 ≤15초 세그먼트로 분할되고 Renoise MCP를 통해 Grok Video 1.5로 생성됩니다. 다른 모델(Wan 3.0, OmniHuman)도 문서화되어 있습니다.
• 비용 게이트 — 에이전트는 항상 세그먼트 수 · 초 · 크레딧 · 잔액을 먼저 제시하고 승인을 기다립니다. 나머지를 배치 처리하기 전에 세그먼트 1을 생성하여 확인하게 합니다.
• 품질 관리 — 각 세그먼트는 whisper로 전사되고 스크립트와 비교됩니다. 세그먼트당 4프레임이 검사됩니다(Grok이 때때로 자막을 이미지에 굽는데, 이 경우 다시 촬영됩니다).
• 음성 통일 — 스펙트럼 매칭, 디에싱, 공유 리버브, 라우드니스 정규화를 통해 30개의 개별 생성 클립이 하나의 녹음처럼 들립니다.
• 5가지 편집 스타일 — 에이전트가 콘텐츠를 진단하고 미리보기 이미지와 함께 2가지 스타일을 추천하며 모든 것을 한 번에 묻습니다(스타일, 비율, 길이, 자막 강도, 프레젠터).
• 48개 패키징 구성 요소 — 25명의 탑 크리에이터(MrBeast, MKBHD, 何同学 등)로부터 프레임 단위로 측정. 각 스타일에는 기본 레시피가 있으며 요청만으로 기술을 추가/제거할 수 있습니다.
• 프레젠터 뒤의 텍스트 — 배경과 사람 사이의 큰 단어/숫자(macOS Vision 인물 분할 → 투명 비디오 → 3레이어 합성).
• 다국어 — 영어, 일본어, 한국어, 프랑스어, 스페인어, 아랍어 테스트 완료(whisper 백체크 94–100%).
• 에이전트와 함께 작동 — 표준 SKILL.md 에이전트 스킬과 스크립트. 스킬을 로드하고 원격 MCP 서버에 연결하고 로컬 명령을 실행할 수 있는 모든 에이전트가 구동할 수 있습니다.

작동 방식

1. 설정 확인(Renoise MCP / ffmpeg / whisper — 이미 있는 것은 건너뜀).
2. 콘텐츠 진단 → 5가지 스타일 중 2개 추천 → 한 번만 묻기 → brief.json.
3. 스크립트(세그먼트당 ≤15초, 약 5.4 중국어 문자/초).
4. 크레딧 견적 → "예"를 기다림 → 세그먼트 1 생성 → 확인 → 배치.
5. 범위 다운로드(CDN 안전) → whisper 백체크 → 프레임 확인.
6. 음성 통일(스펙트럼 매칭 + 디에싱 + 공유 룸).
7. 단어 수준 타임라인(tl.json).
8. Remotion에서 편집: 스타일 템플릿 + 기본 패키징(+ 요청).
9. 렌더링 → 전환 중간 프레임 확인 → 라우드니스(-14 / -16 LUFS).

지원 에이전트

• Claude Code — 테스트 완료, 이걸로 구축됨.
• Codex — 작동할 것으로 예상.
• OpenClaw, WorkBuddy, 豆包, 千问办公, 纳米Work — 세 가지 요구 사항(스킬, MCP, 로컬 명령)을 지원하면 작동해야 합니다.
• Claude desktop / claude.ai — 계획, 견적, 클립 생성은 가능하지만 로컬 편집에는 셸 에이전트가 필요합니다.

설치

1. 리포지토리를 클론합니다.
2. 두 스킬(digital-human-koubo 및 finance-explainer)을 에이전트에 설치합니다(Claude Code, Codex 또는 다른 에이전트용 zip).
3. Renoise MCP에 연결합니다(브라우저 로그인, API 키 불필요).
4. 로컬 도구 설치: ffmpeg, Python 3 + numpy + Pillow, Node.js 18+(Remotion), whisper.cpp.
5. 효과음 및 플레이스홀더 음악 생성(타사 오디오는 포함되지 않음).
6. (선택 사항) Xiaomi MiMo TTS for designed/cloned voices — 자신의 목소리 또는 허가받은 목소리만 복제.

빠른 시작

에이전트에 평이한 언어로 말하세요. 예: "내 디지털 휴먼 스킬을 사용해 30초 라이브스트림 광고를 만들어: WorkBuddy 코스, 10강, ¥99(정가 ¥999)." 에이전트가 자동으로 파이프라인을 실행합니다.

나만의 디지털 휴먼 만들기

1. 정면 사진을 선택합니다(균일한 조명, 얼굴에 닿지 않는 머리카락, 입을 다문 상태) — 자신의 사진 또는 허가받은 사진만.
2. GPT Image 2.5로 4뷰 시트(정면, 측면, 후면)를 생성합니다.
3. 모델을 비교(Grok Video 1.5 vs Wan 3.0)하고 선택합니다.
4. 참조를 Renoise에 업로드하고 material:<id>를 persona.json에 넣습니다.

5가지 편집 스타일

스타일	비율	길이	가장 적합한 용도
A 금융/기술 설명	16:9	3–20분	이벤트, 데이터, "왜…"
B 인플루언서 토킹헤드	9:16	30–120초	제품 추천, 판매, 의견
C 출시 분석	16:9	30–90초	신제품/모델
D 단계별 튜토리얼	16:9	3–8분	"방법…", 도구 설정
E 멀티 호스트 · 다국어 · 멀티 장면	16:9	3–7분	능력 데모, 글로벌 진출

스타일 B에는 세 가지 자막 강도가 있습니다: 절제 / 표준 / 활기찬.

데모

README에 6개의 전체 비디오(라이브스트림 광고, 제품 추천, 텍스트 배경, 튜토리얼, 출시 분석, 금융 설명)와 패키징 갤러리 링크가 있습니다. 모든 프레젠터는 AI 디지털 휴먼이며, 남성 프레젠터는 저자 자신의 디지털 트윈입니다.

라이선스: MIT. 모든 데모는 이 리포지토리로 제작되었습니다. 27초 광고의 총 비용은 482 Renoise 크레딧이었습니다.