sirioberati/Genjustsu-Open-Source-Workflow

解决的问题

Genjustsu 是一个本地 UI 与代理辅助工作流程，旨在替换视频中的主体同时保留原始音频。它通过结合深度估计、分割遮罩与 AI 驱动的视频生成来简化主体替换流程，确保最终输出保留原始音轨，而非使用生成的音频。

运作方式

该系统使用多阶段管线来准备视频以进行主体替换：

1. 音频处理：使用 Demucs 分离人声，并使用 Rubber Band 将音高提升 +3 个半音以建立引导轨道。
2. 视觉准备：使用 depth-anything-video 生成彩色深度图，并透过 SAM 3 建立分割遮罩。系统亦提供“快速”模式，使用 Google MediaPipe Face Landmarker 进行脸部追踪，无需呼叫深度/SAM。
3. 合成：将深度主体合成在原始背景之上，并将调整音高后的人声嵌入视频中。
4. 生成：将准备好的视频与角色参考发送至 Enhancor Seedance（使用 Edit 或 Omni 模式）以生成草稿预览。
5. 最终化：在使用者核准草稿后，系统会生成 1080p 版本，并逐位元组还原原始、未调整音高的来源音频。

适用对象

此工具适合希望在现有视频场景中替换角色身份，同时透过遮罩审查流程维持高质量音频与精确视觉控制的创作者与开发者。

特色亮点

• 音频还原：自动将完整的原始音频还原至最终导出文件。
• 代理辅助设定：包含详细的编码代理执行手册，用于处理安装与环境配置。
• 多模式准备：支持进阶 (Depth + SAM)、快速 (Face Mesh) 与组合 (Depth + SAM + Face Mesh) 模式。
• 草稿至高画质工作流程：实现强制审查机制，使用者必须在进行 1080p 高画质生成前核准草稿。
• 本地控制：作为本地 FastAPI 应用程序执行，搭配原生 JS UI，并透过 Replicate 与 Enhancor 使用托管模型进行繁重推论。