nikopueringer/CorridorKey2.0

解決する課題

CorridorKey 2.0は、ビデオ映像から前景被写体を背景から自動的に分離し、アルファマット（白黒マスク）と前景カラーを生成します。これは視覚効果やモーショングラフィックスにおいて退屈な手作業ですが、このモデルはそれを高速化し、ヒントに従って正しい被写体を選択できます。

仕組み

ビデオ（またはフレームのフォルダ）を入力します。モデルはGPU上で実行され、すべてのフレームに対してアルファマットを予測します。オプションでヒント（最初のフレームのマット、完全なヒントビデオ、またはなし）を提供できます。ヒントは、どのオブジェクトを保持するかをモデルに伝えます。内部的には、3つの凍結された基盤モデル（NVIDIA、Microsoft、Google DeepMind製）と独自の学習済み重みを使用しています。クリップを重なり合う時間ウィンドウ（Hann windows）で処理し、フレーム間で結果の一貫性を保ちます。マット、前景、その他のレビュー形式を出力できます。また、クリップされていない値を持つOpenEXRシーケンスを出力することでHDRも処理します。

対象ユーザー

合成のためにきれいな切り抜きやマットを必要とするビデオ編集者、VFXアーティスト、モーショングラフィックスデザイナー。カスタムPythonツールを構築したい開発者にも開かれています。公式プラグイン（有料）は多くのメディアアプリと統合されていますが、このrepoは商用または個人利用で無料で使用できます。

ハイライト

• 3つの推論モード：ヒントなし、最初のフレームのヒント、または完全なヒントビデオ。
• 自動メモリ管理。最小4 GB VRAMのGPUで動作します（1440pの場合）。
• クリップされていないシーンリニアRGBを備えたOpenEXRによるHDR出力をサポート。
• 出力には、マット、前景、チェッカーボード合成、ストレートカットアウトが含まれます。
• ビデオ全体をRAMに読み込まずに長いクリップを処理できます。
• WindowsおよびLinux用のドラッグ＆ドロップランチャーが含まれています。
• サイレントエラーなし：ファイルが見つからない場合やサポートされていない入力がある場合は、明確なエラーが発生します。