Carasibana/ComfyUI-H3-FaceRefine

Refine and improve the quality of small faces in MiniMax H3 video. Per-frame face tracking, crop, refine with H3, stitch back.

ComfyUI‑H3‑FaceRefine

这是什么

  • 一组专为 ComfyUI 设计的自定义节点,用于改善使用 MiniMax H3 扩散模型生成的视频中的小脸问题。
  • 这些节点在每帧中检测人脸,裁剪出来,让 MiniMax H3 重新生成更高清的版本,然后将结果缝合回原始视频中。

为何重要

  • 当头部仅占据几十个像素时,即使在 720p+ 分辨率下,MiniMax H3 也会表现不佳。问题不在于分辨率,而在于输入中人脸尺寸过小。
  • 通过向模型提供一个裁剪后充满人脸的画布,扩散模型可以渲染出更清晰、更细节丰富的面部。

核心组件

节点 作用
H3 Face Track + Crop 检测人脸,跨帧追踪,裁剪至固定尺寸画布,并输出裁剪结果和追踪数据。
H3 Load Video + Face Select 加载视频,执行一次检测,通过 PySceneDetect 检测硬切,允许用户为每段镜头手动选择目标人脸。
H3 Per‑Frame Denoise 应用逐帧去噪掩码;现在可在 模型 流上工作,而不仅仅是潜在空间。
MiniMaxH3ReferenceToVideo / H3 Inject Video Latent / H3 Face Stitch Back 将优化后的人脸缝合回原始视频,处理音频、VAE 解码和合成。

新功能(v1.1.2 与 v1.1.0)

  • 更稳健的追踪 – 当目标人脸消失时,追踪器不再跳转到其他人;而是插值缺失帧并报告丢失情况。
  • 目标丢失报告 – 节点的文本报告现在列出人脸未被检测到的帧范围。
  • 备用检测器现在使用最近的身体而非最大身体。
  • 自动选择工作流 – 新增节点(H3 Load Video + Face Select),可加载视频、检测所有人脸、检测硬切,并允许您为每段镜头手动选择目标。
  • 切帧检测 – 可选集成 PySceneDetect,在硬切处分割片段,确保每段镜头的人脸身份重置。
  • 扩展的 select 选项 – 提供九种选择人脸的方式(最大、最小、最左等),并新增 frame_count 输出,可用于连接 MiniMax H3 的长度设置。
  • 画布默认值 – 默认画布尺寸提升至 768 px(MiniMax H3 的原生短边),并设置最小值为 512 px。

安装与依赖

  1. 将仓库克隆到 ComfyUI/custom_nodes/ 目录下,并重启 ComfyUI。
  2. 从 requirements.txt 安装所需包(ultralytics, scipy, insightface, scenedetect)。
  3. 必须提供一个 人脸检测模型(例如 models/ultralytics/bbox/ 中的 face_yolov8m.pt)。可选模型(动漫人脸检测器、CLIP‑Vision、SAM、InsightFace)可增强特定功能,但非必需。
  4. 使用示例工作流还需其他自定义节点包(VideoHelperSuite、Impact‑Pack、H3‑NativeAudioLock,可选 GGUF 和 SAM)。README 中列出了确切 URL。

使用方法(快速入门)

  • 打开两个提供的工作流模板之一:
    1. 自动选择 – 节点根据排名规则(默认:largest_face)自动选择人脸。
    2. 手动选择 – 打开 UI,为每段镜头手动选择目标人脸。
  • 提供源视频(通过 VHS_LoadVideoPath 或 H3 Load Video + Face Select)。
  • 提供原始 MiniMax H3 视频所用的参考图像和提示词。
  • 队列化图谱;管道将执行以下步骤:
    1. 检测并裁剪人脸,放大至画布尺寸。
    2. 在裁剪区域运行 MiniMax H3。
    3. (可选)去噪并缝合优化后的人脸。
    4. 保留原始音频并保存最终视频。

适用人群

  • 已使用 MiniMax H3 进行视频生成,但对低细节人脸感到困扰的艺术家和创作者。
  • 需要即插即用的 ComfyUI 解决方案,无需重写整个 H3 工作流的任何人。

局限性

  • 当人脸可被可靠追踪时效果最佳;快速运动或频繁遮挡会导致插值伪影。
  • 该节点依赖外部人脸检测器;质量取决于所选模型(真人 vs. 动漫)。
  • 若缺少 scenedetect,切帧检测将被禁用,整个片段将被视为单一段落。

以上所有信息均直接取自仓库的 README。

相关

  • 项目
  • Dispatch
  • 项目
  • 项目
  • 项目