alchaincyf/huashu-motion

huashu-motion – AI 기반 비디오 프로모 생성기

기능 개요

• 짧은 자연어 요청(예: "내 제품에 대한 30초 프로모를 만들어, 웹사이트는 …")을 완전한 상업용 제품 비디오로 변환합니다.
• 에이전트는 먼저 제품을 읽고, 세 가지 스토리보드 방향을 제안하고, 리듬/비트 시트를 작성하고, 음악 악보를 작곡한 다음, 브라우저 내 편집기를 엽니다. 여기서 프레임을 포인트 앤 클릭하여 정확한 편집을 요청할 수 있습니다.
• 전체 주기 워크플로우 지원: 스토리보드 → 코드 생성 애니메이션(GSAP/Canvas/Three.js/SVG) → 샘플링된 악기 음악 → 선택적 음성 해설 → MP4, MOV(알파 포함), WebM, GIF 또는 공유 가능한 HTML 페이지로 렌더링/내보내기.

작동 방식

1. 스킬 아키텍처 – 저장소는 Agent Skill로 제공됩니다(Claude Code, Codex, WorkBuddy, Grok Bot, Muse, Dots 등과 호환). 스킬 설치(npx skills add alchaincyf/huashu-motion)는 bin/om CLI를 에이전트의 스킬 디렉토리에 배치합니다.
2. 프롬프트-투-코드 파이프라인 – LLM 에이전트가 애니메이션을 정의하는 HTML/JS를 작성합니다. 모든 시각적 요소는 코드(GSAP, Canvas, Three.js, SVG)로 생성됩니다. 외부 비디오 생성 모델이 필요하지 않습니다.
3. 음악 생성 – 작곡가 모드에서 에이전트는 ABC 표기법 악보를 작성합니다. CLI는 실제 악기 샘플(샘플이 빌드되지 않은 경우 합성 사운드)로 렌더링합니다. 12개의 제품 유형 음악 템플릿 라이브러리가 대체 트랙을 제공합니다.
4. 음성 해설 및 정렬 – 시스템 TTS 또는 사용자 제공 오디오 파일을 whisper.cpp를 사용하여 타임라인에 단어 단위로 정렬할 수 있습니다.
5. 대화형 편집 – 브라우저 편집기에서 C를 누르고, 프레임을 클릭하고, 댓글을 입력합니다. 댓글(타임스탬프, 장면, 요소, 소스 라인 포함)은 om inbox를 통해 에이전트로 전송됩니다. 에이전트는 영향을 받는 코드 블록만 업데이트하고 사람이 읽을 수 있는 요약으로 응답합니다.
6. 렌더링 – Chrome/Chromium 인스턴스가 프레임을 병렬로 렌더링합니다(기본 최대 8개). FFmpeg가 프레임을 결합하고 생성된 오디오를 믹스합니다. 14코어 Mac에서 30초 클립은 약 12~15초에 렌더링됩니다.

주요 구성 요소

• cli/om – 명령줄 인터페이스(프로젝트 생성, 스튜디오 편집기, 받은 편지함 처리, 사운드 유틸리티, 품질 검사, 렌더링, 내보내기).
• studio/ – 라이브 미리보기, 타임라인 바, 편집 가능한 속성 패널을 표시하는 브라우저 내 편집기.
• templates/ – 10개의 시작 템플릿(제품 출시, 데이터 기반 설명, 화이트보드, 3Blue1Brown 스타일 등).
• references/library/ – 21개의 실제 출시 비디오에 대한 정량적 분석에서 파생된 다양한 제품 카테고리의 시각적 스타일을 설명하는 20개의 선별된 "모션 언어".
• fonts/ – 즉시 사용할 수 있도록 번들된 27개의 오픈소스 글꼴(중국어 볼드, 세리프, 디스플레이).
• runtime/ – 생성된 HTML이 애니메이션과 동기화를 구동하는 데 사용하는 경량 런타임 헬퍼(OM.*).

설치 및 요구 사항

• Node 22+, Chrome/Chromium/Edge, FFmpeg.
• 선택 사항: 실제 악기 샘플 팩(om samples build 약 55MB), 중국어 TTS 모델(Kokoro, 약 325MB), 정렬용 whisper-cli.
• 현재 macOS에서 테스트됨. 다른 OS는 약간의 조정으로 작동할 수 있습니다.

일반적인 워크플로우

사용자: "내 제품에 대한 30초 프로모를 만들어, 웹사이트는 xyz.com"
→ 에이전트가 사이트를 읽고, 3개의 스토리보드 옵션 제안
→ 에이전트가 리듬 시트, ABC 악보, 전체 HTML/JS 애니메이션 작성
→ `om studio`가 편집 가능한 미리보기 열기
사용자: 프레임 클릭, "오프닝 효과를 더 부드럽게, 타이핑에 집중" 입력
→ `om inbox`가 댓글 전달, 에이전트가 해당 코드 블록만 패치
→ 미리보기 새로고침, 사용자는 실행 취소(⌘Z)하거나 숫자 필드를 직접 편집 가능
→ `om render` → MP4/WEBM 내보내기

제한 사항

• 시각 효과는 코드로 생성됩니다. 사실적인 영상이나 3D 모델은 자동으로 생성되지 않습니다.
• 음악과 스타일의 품질은 기본 LLM(Claude Code, DeepSeek Flash 등)에 따라 달라집니다.
• Chrome과 FFmpeg를 실행할 수 있는 로컬 환경이 필요합니다. 순수 클라우드 서비스가 아닙니다.

라이선스 – 코드와 문서는 MIT 라이선스. 타사 자산은 원래 라이선스를 유지합니다(GSAP Standard, SIL OFL 글꼴, CC0/CC-BY 샘플).

대상 사용자

• 디자인 에이전시를 고용하지 않고 빠르고 맞춤화 가능한 프로모 비디오를 원하는 제품 마케터 또는 인디 개발자.
• LLM 프롬프트, 코드 생성, 미디어 렌더링을 연결하는 Agent Skill의 구체적인 예를 찾는 AI 에이전트 개발자.

---

위의 모든 정보는 저장소의 README에서 직접 가져온 것입니다.