xg-chu/GAGAvatar

何を解決するか

GAGAvatarは、1枚の画像から制御可能な3Dヘッドアバターを生成する課題に対処します。1ショットで人物の頭部を3D再構成でき、リアルタイムの再現が可能であり、アバターは他の人物の動きや表情によって制御できます。

動作方法

このプロジェクトは3Dガウススプラッティング（3DGS）を使用して頭部を再構成します。標準の3DGSレンダラを改良し、ガウス分布に32次元の特徴を保持できるようにすることで、より柔軟で汎用性の高い再構成を実現しています。システムは、ターゲット人物の1枚の画像とドライバーソース（画像または動画）を入力として受け取り、トラッキングシステムによりドライバーの動きをアバターにマッピングします。

対象ユーザー

3Dビジョン、デジタル人間、リアルタイムアニメーションに取り組む研究者や開発者、および対面再現技術に興味を持つ人々に向けられています。

特徴

• 1ショット再構成: 1枚の画像から3Dヘッドアバターを生成します。
• リアルタイム性能: 高速なヘッドアバターの再現をサポートします。
• 3DGSベース: ガウススプラッティングを活用して効率的なレンダリングを実現します。
• 制御可能: 画像または動画によってヘッドアバターをアニメーション化できます。