Carasibana/ComfyUI-H3-FaceRefine
Refine and improve the quality of small faces in MiniMax H3 video. Per-frame face tracking, crop, refine with H3, stitch back.
ComfyUI‑H3‑FaceRefine
这是什么
- 一组专为 ComfyUI 设计的自定义节点,用于改善使用 MiniMax H3 扩散模型生成的视频中的小脸问题。
- 这些节点在每帧中检测人脸,裁剪出来,让 MiniMax H3 重新生成更高清的版本,然后将结果缝合回原始视频中。
为何重要
- 当头部仅占据几十个像素时,即使在 720p+ 分辨率下,MiniMax H3 也会表现不佳。问题不在于分辨率,而在于输入中人脸尺寸过小。
- 通过向模型提供一个裁剪后充满人脸的画布,扩散模型可以渲染出更清晰、更细节丰富的面部。
核心组件
| 节点 | 作用 |
|---|---|
| H3 Face Track + Crop | 检测人脸,跨帧追踪,裁剪至固定尺寸画布,并输出裁剪结果和追踪数据。 |
| H3 Load Video + Face Select | 加载视频,执行一次检测,通过 PySceneDetect 检测硬切,允许用户为每段镜头手动选择目标人脸。 |
| H3 Per‑Frame Denoise | 应用逐帧去噪掩码;现在可在 模型 流上工作,而不仅仅是潜在空间。 |
| MiniMaxH3ReferenceToVideo / H3 Inject Video Latent / H3 Face Stitch Back | 将优化后的人脸缝合回原始视频,处理音频、VAE 解码和合成。 |
新功能(v1.1.2 与 v1.1.0)
- 更稳健的追踪 – 当目标人脸消失时,追踪器不再跳转到其他人;而是插值缺失帧并报告丢失情况。
- 目标丢失报告 – 节点的文本报告现在列出人脸未被检测到的帧范围。
- 备用检测器现在使用最近的身体而非最大身体。
- 自动选择工作流 – 新增节点(
H3 Load Video + Face Select),可加载视频、检测所有人脸、检测硬切,并允许您为每段镜头手动选择目标。 - 切帧检测 – 可选集成 PySceneDetect,在硬切处分割片段,确保每段镜头的人脸身份重置。
- 扩展的
select选项 – 提供九种选择人脸的方式(最大、最小、最左等),并新增frame_count输出,可用于连接 MiniMax H3 的长度设置。 - 画布默认值 – 默认画布尺寸提升至 768 px(MiniMax H3 的原生短边),并设置最小值为 512 px。
安装与依赖
- 将仓库克隆到
ComfyUI/custom_nodes/目录下,并重启 ComfyUI。 - 从
requirements.txt安装所需包(ultralytics,scipy,insightface,scenedetect)。 - 必须提供一个 人脸检测模型(例如
models/ultralytics/bbox/中的face_yolov8m.pt)。可选模型(动漫人脸检测器、CLIP‑Vision、SAM、InsightFace)可增强特定功能,但非必需。 - 使用示例工作流还需其他自定义节点包(VideoHelperSuite、Impact‑Pack、H3‑NativeAudioLock,可选 GGUF 和 SAM)。README 中列出了确切 URL。
使用方法(快速入门)
- 打开两个提供的工作流模板之一:
- 自动选择 – 节点根据排名规则(默认:
largest_face)自动选择人脸。 - 手动选择 – 打开 UI,为每段镜头手动选择目标人脸。
- 自动选择 – 节点根据排名规则(默认:
- 提供源视频(通过
VHS_LoadVideoPath或H3 Load Video + Face Select)。 - 提供原始 MiniMax H3 视频所用的参考图像和提示词。
- 队列化图谱;管道将执行以下步骤:
- 检测并裁剪人脸,放大至画布尺寸。
- 在裁剪区域运行 MiniMax H3。
- (可选)去噪并缝合优化后的人脸。
- 保留原始音频并保存最终视频。
适用人群
- 已使用 MiniMax H3 进行视频生成,但对低细节人脸感到困扰的艺术家和创作者。
- 需要即插即用的 ComfyUI 解决方案,无需重写整个 H3 工作流的任何人。
局限性
- 当人脸可被可靠追踪时效果最佳;快速运动或频繁遮挡会导致插值伪影。
- 该节点依赖外部人脸检测器;质量取决于所选模型(真人 vs. 动漫)。
- 若缺少
scenedetect,切帧检测将被禁用,整个片段将被视为单一段落。
以上所有信息均直接取自仓库的 README。
相关
- 项目
- Dispatch
- 项目
- 项目
- 项目