zai-org/SCAIL-2

何を解決するか

SCAIL-2は、スケルトンマップなどの中間ポーズ表現に依存する従来のキャラクターアニメーションの限界に対処します。これにより、複雑な動きや人間以外のドライブソース（例：動物）でのアニメーション、アイデンティティの一般化に課題が生じることがあります。SCAIL-2は、動画におけるキャラクターのアニメーションとキャラクター交換のためのより柔軟なエンドツーエンドシステムを提供することを目指しています。

動作方法

SCAIL-2は、特定のマスキングチャネルと専用のRoPE設計を備えた統合型モーション転送インターフェースを使用して、中間ポーズ表現を回避します。このモデルは、SCAIL-Preview、Wan-Animate、MoChaなどの他のモデルから合成された60Kのモーションペアを用いて、「リザーブドライブ」アプローチで訓練され、新たな能力が発現しました。システムはアニメーションモード（エンドツーエンドまたはポーズ駆動）と交換モードの両方をサポートしています。また、唇や目の同期性を向上させ、手の歪みを低減するために、バイアス認識型DPO（Direct Preference Optimization）を導入しています。

対象ユーザー

AI駆動の動画生成、キャラクターアニメーション、動画編集に取り組む開発者やクリエイター向けです。高精度なモーション転送とキャラクター交換機能が必要な方々に最適です。

主な特徴

• エンドツーエンドアニメーション：スケルトンマップに依存せず、動物駆動のシナリオも可能。
• キャラクター交換：動画内のキャラクターをリファレンス画像に置き換え可能。自然な照明と影の融合を実現するRelighting LoRAを搭載。
• マルチリファレンス対応：ゼロショットでのマルチリファレンス生成を可能にし、キャラクターの追加視点やクローズアップなどの詳細を提供。
• バイアス認識型DPO：同期性と詳細品質を向上させる新しいメカニズムを採用。
• ComfyUI統合：ComfyUIエコシステム内で利用可能。