LBH-123-AI/Comfyui_Minimax_h3_latent_Upscaler

Neural latent upscaler for Minimax H3 (24ch). Bypasses costly 5B-param VAE decode/encode. Upscale low-res latents directly, then refine. Accelerates high-res video gen, outperforms naive interp.

它解决了什么问题

此项目提供了一种无需经过解码潜变量为像素、上采样后再重新编码回潜变量这一缓慢且计算成本高昂的过程,即可对 Minimax H3 模型的视频潜变量进行上采样的方法。通过直接在潜变量空间中执行上采样,显著加速了高分辨率视频生成,并避免了由基础插值引起的常见伪影,如鬼影或双图像现象。

它如何工作

它引入了自定义的 ComfyUI 节点,利用训练好的神经网络对 24 通道的 Minimax H3 VAE 潜变量进行上采样。它提供了两种主要的神经上采样变体:

  • 2D 上采样器:采用轻量级 ResBlock 主干网络,结合时间维度的 3D 卷积层,在保持时间一致性的同时进行空间上采样。
  • 3D 上采样器:采用完全的 3D 卷积主干网络,联合处理时空体,实现更强的一致性,支持按倍数、目标尺寸或总兆像素进行缩放。

此外,还包含 MMH3 分块上采样 组合节点,这是一种分块的、类似 "hires-fix" 风格的重采样上采样器。它不依赖预训练网络,而是将 AV 潜变量拆分为时间片段和空间块,对每个部分以更高分辨率重新运行扩散采样器,然后通过缝合去噪、双层级色彩匹配和时间锚点将它们拼接回去,以防止闪烁和接缝。

适合谁使用

使用 ComfyUI 和 Minimax H3 视频生成模型,希望更快生成高分辨率视频,并获得更好视觉质量与时间稳定性的用户。

特色亮点

  • 神经潜变量上采样:使用训练好的网络而非简单的插值,获得更锐利的结果。
  • 两种主干选项:可在快速的 2D 变体和更一致的 3D 变体之间选择。
  • 分块重采样:采用分解并优化的分块系统(MMH3 分块上采样),可在显存限制内处理高分辨率视频。
  • 高级拼接技术:支持缝合去噪、色彩匹配和三重时间锚点,消除鬼影和块间闪烁。
  • 灵活的尺寸设置:支持按倍数、特定目标尺寸或兆像素缩放,并自动对齐像素网格。

相关

  • 项目
  • Dispatch
  • 项目
  • 项目
  • 项目