Carasibana/ComfyUI-H3-FaceRefine
Refine and improve the quality of small faces in MiniMax H3 video. Per-frame face tracking, crop, refine with H3, stitch back.
解決的問題
本專案解決了 MiniMax H3 影片中小臉渲染品質不佳的問題。當頭部在畫面中僅佔很小部分時,無論輸出解析度如何,畫質都會下降。這些節點自動化了偵測、裁切、精修並重新合成至原始影片的流程,以恢復細節與品質。
工作原理
系統在 ComfyUI 內使用多階段流程:
- 追蹤與裁切:偵測每一幀中的臉部,平滑軌跡以防止「沸騰」(抖動),並將臉部裁切至填滿畫布。
- 潛在空間注入:將這些裁切區域編碼至 H3 的音視頻聯合潛在流中,使原本不被原生 H3 節點支援的影片到影片(img2img)工作流程成為可能。
- 動態去噪:根據每幀中臉部的大小動態調整去噪強度;小臉獲得更強的合成以增加細節,大臉則接受更溫和的處理以保留現有細節。
- 精修:MiniMax H3 模型重新生成臉部裁切區域。
- 拼接:使用亞像素精度將精修後的裁切區域重新映射回原始幀,進行色彩匹配以避免亮度偏移,並羽化融合至原始影片中。
適用對象
使用 ComfyUI 和 MiniMax H3 影片模型,希望在人物距離遠或畫面中較小時提升面部細節與一致性的使用者。
主要亮點
- 時間平滑:對裁切中心與尺寸使用高斯或 Savgol 平滑,確保精修後的臉部不會閃爍或抖動。
- 身份追蹤:支援使用參考影像追蹤特定人物,即使在人群或遮擋情況下也能持續追蹤。
- 逐幀去噪:根據源影片中臉部的實際像素大小自動調整去噪強度。
- 靈活遮罩:提供簡單矩形遮罩與高精度 SAM(Segment Anything Model)遮罩,實現自然融合。
- 亞像素拼接:使用批量
grid_sample確保精修後的臉部精確還原至原始位置。
相關
- 專案
- 專案
- 專案
- Dispatch
- 專案