ShenhanQian/VHAP
A complete head tracking pipeline from videos to NeRF/3DGS-ready datasets.
何を解決するか
VHAPは、目の周辺や鼻などの事前に定義されたランドマークが存在しない領域（髪、耳、首、肩など）における3D人間頭部モデルの動画へのアライメントという課題に対処します。
動作方法
微分可能なメッシュラスタライゼーションに基づく光度最適化パイプラインを使用します。システムは、レンダリング中に領域の外観事前知識を適応的に抽出・注入する摂動機構を採用しています。これにより、ランドマークに頼らず、外観の一貫性に基づいて特定の領域をアライメントできます。単一カメラ（モノクロ）および複数カメラ（マルチビュー）の動画シーケンスをサポートし、形状とポーズ推定にFLAME頭部モデルを統合しています。
対象ユーザー
3D頭部トラッキング、デジタル人間の作成、NeRF/3DGSスタイルのアプリケーション（例：写実的な頭部アバターの作成）に取り組む研究者や開発者向けです。
特徴
- 適応的外観事前知識: 髪や耳などランドマークのない領域のアライメントを可能にします。
- 多様な入力: 単一カメラ（モノクロ）および複数カメラ（マルチビュー）の動画シーケンスをサポートします。
- 微分可能なラスタライゼーション: 高精度なアライメントを実現する光度最適化パイプラインを使用します。
- アバター統合: エクスポートされたトラッキング結果は、そのままGaussianAvatarsの生成に使用できます。
関連
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト