sirioberati/Genjustsu-Open-Source-Workflow

해결하는 문제

Genjustsu는 원본 소스 오디오를 유지하면서 비디오 내 피사체를 교체하도록 설계된 로컬 UI 및 에이전트 지원 워크플로우입니다. 깊이 추정, 세그멘테이션 마스크, AI 기반 비디오 생성을 결합하여 피사체 교체 프로세스를 간소화하며, 생성된 오디오 대신 원본 사운드트랙을 유지하는 최종 출력을 보장합니다.

작동 방식

이 시스템은 피사체 교체를 위해 비디오를 준비하는 다단계 파이프라인을 사용합니다:

1. 오디오 처리: Demucs를 사용하여 보컬을 분리하고, Rubber Band를 사용하여 피치를 +3 반음 이동시켜 가이드 트랙을 생성합니다.
2. 시각적 준비: depth-anything-video를 사용하여 컬러 깊이 맵을 생성하고 SAM 3를 통해 세그멘테이션 마스크를 생성합니다. 또한 깊이/SAM 호출 없이 얼굴 추적을 수행하는 Google MediaPipe Face Landmarker를 사용하는 '빠른(Fast)' 모드도 제공합니다.
3. 합성: 깊이 피사체를 원본 배경 위에 합성하고, 피치가 조정된 보컬을 비디오에 삽입합니다.
4. 생성: 준비된 비디오와 캐릭터 참조를 Enhancor Seedance(Edit 또는 Omni 모드 사용)로 전송하여 초안 미리보기를 생성합니다.
5. 최종화: 사용자가 초안을 승인하면 시스템은 1080p 버전을 생성하고, 피치가 조정되지 않은 원본 소스 오디오를 바이트 단위로 복원합니다.

대상 사용자

이 도구는 마스크 검토 프로세스를 통해 고품질 오디오와 정밀한 시각적 제어를 유지하면서 기존 비디오 장면의 캐릭터를 새로운 정체성으로 교체하려는 크리에이터 및 개발자를 위한 것입니다.

주요 특징

• 오디오 복원: 최종 내보내기 시 원본 소스 오디오 전체를 자동으로 복원합니다.
• 에이전트 지원 설정: 설치 및 환경 구성을 처리하기 위한 코딩 에이전트용 상세 런북이 포함되어 있습니다.
• 다중 모드 준비: 고급(Depth + SAM), 빠른(Face Mesh), 결합(Depth + SAM + Face Mesh) 모드를 지원합니다.
• 초안에서 HD로의 워크플로우: 1080p 고해상도 생성을 확정하기 전에 사용자가 초안을 반드시 승인해야 하는 검토 단계를 구현합니다.
• 로컬 제어: 로컬 FastAPI 애플리케이션으로 실행되며, 바닐라 JS UI를 사용하고 Replicate 및 Enhancor를 통해 호스팅된 모델을 사용하여 무거운 추론을 수행합니다.