scraed/LanPaint

解决的问题

LanPaint 提供了一种通用的、免训练的方法，可在各种预训练扩散模型和 rectified-flow 模型上执行高质量的图像和视频修复 (inpainting) 与扩充 (outpainting)。它消除了模型微调或反向传播的需求，让用户能在几乎任何现有模型上执行遮罩约束的局部编辑、对象替换和生成式填充。

运作原理

LanPaint 实现了一种部分条件采样器，允许模型在去噪前通过多次迭代进行「思考」。这种「Think Mode」能投入更多运算时间来提升修复质量。它作为一个 ComfyUI 扩展功能运行，并支持多种模态，包括图像（Qwen 2.1 支持透明度）以及视频/音频（通过 MiniMax H3 的嵌套潜在空间管线）。

适用对象

专为使用 ComfyUI 的数字艺术家和 AI 研究人员设计，他们希望在图像或视频上进行精确的局部编辑，而无需为每个使用的基础模型训练特定的修复模型。

特色亮点

• 通用兼容性：适用于广泛的模型，包括 Flux, SDXL, SD 1.5, Wan 2.2, Qwen Image 和 MiniMax H3。
• 免训练：无需微调或反向传播；开箱即用，适用于预训练模型。
• 多模态修复：支持图像修复、扩充、视频修复，甚至结合视频与音频的修复。
• 集成式视频遮罩编辑器：内置编辑器，用于绘制逐帧遮罩，支持自动插值并将遮罩导出至视频元数据。
• Think Mode：允许通过迭代优化，借由增加运算时间来达到卓越的修复质量。