HongwenZhang/PyMAF

解決する課題

PyMAFおよびPyMAF-Xは、単一の単眼画像や動画から3Dの人体ポーズと形状を正確に回帰するという課題に取り組んでいます。これらは、再構成された3D人体メッシュと2D画像入力との間のアライメントと精度を向上させることを目的としており、特にPyMAF-Xは全身モデルの回帰に焦点を当てています。

仕組み

このプロジェクトは、ピラミッド型メッシュアライメントフィードバックループ (Pyramidal Mesh Alignment Feedback Loop) を利用して3D人体メッシュを洗練させます。SMPLおよびSMPL-X人体モデルを活用して、人体の形状とポーズを表現します。このシステムは、静止画と動画の両方を処理でき（単数または複数の人物をサポート）、事前学習済みモデルを使用して画像の特徴を3Dメッシュパラメータにマッピングします。

対象ユーザー

このツールは、コンピュータビジョン、3D人体再構成、および人体ポーズ推定に取り組む研究者や開発者向けに設計されています。

ハイライト

• 全身サポート: PyMAF-Xは、適切にアライメントされた全身モデル回帰へと機能を拡張しています。
• 多様な入力: 画像と動画の両方の入力をサポートし、複数人が含まれるシーンにも対応します。
• 高性能: AGORA Test (SMPL-X Whole-Body) リーダーボードで2位にランクインしています。
• フィードバックループ: ピラミッド型メッシュアライメント戦略を採用し、再構成の精度を向上させています。