Carasibana/ComfyUI-H3-FaceRefine

Refine and improve the quality of small faces in MiniMax H3 video. Per-frame face tracking, crop, refine with H3, stitch back.

解決的問題

本專案解決了 MiniMax H3 影片中小臉渲染品質不佳的問題。當頭部在畫面中僅佔很小部分時,無論輸出解析度如何,畫質都會下降。這些節點自動化了偵測、裁切、精修並重新合成至原始影片的流程,以恢復細節與品質。

工作原理

系統在 ComfyUI 內使用多階段流程:

  1. 追蹤與裁切:偵測每一幀中的臉部,平滑軌跡以防止「沸騰」(抖動),並將臉部裁切至填滿畫布。
  2. 潛在空間注入:將這些裁切區域編碼至 H3 的音視頻聯合潛在流中,使原本不被原生 H3 節點支援的影片到影片(img2img)工作流程成為可能。
  3. 動態去噪:根據每幀中臉部的大小動態調整去噪強度;小臉獲得更強的合成以增加細節,大臉則接受更溫和的處理以保留現有細節。
  4. 精修:MiniMax H3 模型重新生成臉部裁切區域。
  5. 拼接:使用亞像素精度將精修後的裁切區域重新映射回原始幀,進行色彩匹配以避免亮度偏移,並羽化融合至原始影片中。

適用對象

使用 ComfyUI 和 MiniMax H3 影片模型,希望在人物距離遠或畫面中較小時提升面部細節與一致性的使用者。

主要亮點

  • 時間平滑:對裁切中心與尺寸使用高斯或 Savgol 平滑,確保精修後的臉部不會閃爍或抖動。
  • 身份追蹤:支援使用參考影像追蹤特定人物,即使在人群或遮擋情況下也能持續追蹤。
  • 逐幀去噪:根據源影片中臉部的實際像素大小自動調整去噪強度。
  • 靈活遮罩:提供簡單矩形遮罩與高精度 SAM(Segment Anything Model)遮罩,實現自然融合。
  • 亞像素拼接:使用批量 grid_sample 確保精修後的臉部精確還原至原始位置。

相關

  • 專案
  • 專案
  • 專案
  • Dispatch
  • 專案