nikopueringer/CorridorKey2.0

解决的问题

CorridorKey 2.0 可以自动将视频素材中的前景主体与背景分离，生成 Alpha 遮罩（黑白蒙版）和前景颜色。在视觉特效和动态图形制作中，这是一项繁琐的手动任务；该模型可以加速这一过程，并能根据提示选择正确的主体。

工作原理

输入视频（或帧序列文件夹）。模型在 GPU 上运行，为每一帧预测 Alpha 遮罩。您可以选择提供提示：首帧遮罩、完整提示视频或不提供。提示会告诉模型保留哪个对象。内部使用了三个冻结的基础模型（来自 NVIDIA、Microsoft 和 Google DeepMind）以及其自身训练的权重。它在重叠的时间窗口（称为 Hann windows）中处理剪辑，以保持帧间结果的一致性。它可以输出遮罩、前景和其他预览格式。它还通过输出未剪裁值的 OpenEXR 序列来处理 HDR。

适用人群

需要干净抠图或遮罩进行合成的视频剪辑师、VFX 艺术家和动态设计师。它也向希望构建自定义 Python 工具的开发者开放。官方插件（付费）集成了许多媒体应用程序，但此 repo 可免费用于商业或个人工作。

亮点

• 三种推理模式：无提示、首帧提示或完整提示视频。
• 自动内存管理；可在低至 4 GB VRAM 的 GPU 上运行（针对 1440p）。
• 通过 OpenEXR 支持 HDR 输出，具有未剪裁的场景线性 RGB。
• 输出包括遮罩、前景、棋盘格合成和直接抠图。
• 无需将整个视频加载到 RAM 中即可处理长剪辑。
• 包含适用于 Windows 和 Linux 的拖放式启动器。
• 无静默失败：缺少文件或不支持的输入会引发明确的错误。