D3voz/openjutsu

解決する課題

Openjutsuを使用すると、既存の動画内の人物やオブジェクトを、元のカメラワーク、カット、サウンドトラックを維持したまま置き換えることができます。動画素材内のキャラクターの入れ替え、服装の変更、背景の修正を行うために複雑なプロ用編集ソフトウェアを必要とする問題を解決します。

仕組み

ComfyUIのユーザーフレンドリーなインターフェースとして機能し、高度なAIモデルを組み合わせて動画を処理します。SAM 3.1を使用して人物やオブジェクトを追跡し、MiniMax H3で新しい動画コンテンツを生成し、Qwen3-VLで視覚要素を記述・理解します。動画とキャラクターの写真をアップロードするだけで、ツールがGPU上でローカルにトラッキング、マスキング、フレームごとの置換を処理します。

対象ユーザー

NVIDIA GPUを搭載しており、クラウドベースのサブスクリプションに頼ることなく、自身のハードウェア上でオープンソースのAIモデルを使用して、キャラクター置換、オブジェクト削除、再ライティングなどのクリエイティブな動画編集を行いたいユーザー向けです。

ハイライト

• キャラクター置換: 動画内の主要人物を写真のキャラクターに置き換えつつ、元の動きやポーズを保持します。
• オブジェクト操作: 服装、髪、背景要素などを塗りつぶすことで、簡単に削除、変更、追加が可能です。
• 高度なモーション転送: ロールベースのトラッキングを使用して、複数の人物を同時に置き換えるマルチキャラクターシーンをサポートします。
• ポストプロセッシングツール: 顔のディテール修正やカラーグレーディング調整などの組み込み機能を備えており、より洗練された最終結果を得られます。
• ローカル実行: すべて自分のマシン上で実行されるため、プライバシーが守られ、データと計算リソースを完全に制御できます。