isarandi/nlf
[NeurIPS 2024] Neural Localizer Fields for Continuous 3D Human Pose and Shape Estimation
解決する課題
Neural Localizer Fields (NLF) は、画像や動画から3D人間のポーズと形状を連続的に推定する方法を提供します。3D空間における人体の動きと物理的構造を正確に追跡するという課題に取り組みます。
仕組み
このプロジェクトは、神経場ベースのアプローチを用いて人体の形状とポーズを表現します。連続表現を活用することで、モデルは視覚入力から3D人体パラメータを推論でき、PyTorch と TensorFlow の両フレームワーク向けのトレーニングコードが提供されています。
対象読者
このプロジェクトは、コンピュータビジョン分野の研究者や開発者、特に人間のモーションキャプチャ、3D再構成、具現化知能に焦点を当てた人々を対象としています。
ハイライト
- NeurIPS 2024 で発表。
- PyTorch と TensorFlow の両実装をサポート。
- カスタムモデル開発用のトレーニングコードを含む。
- 連続的な3Dポーズと形状推定用に設計。
関連
- プロジェクト
PacesaLab/BindCraft2BindCraft2は、Linuxベースのコマンドラインのパイプラインで、AlphaFold 2とProteinMPNNを使用して、ユーザーが提供した標的タンパク質に対するde novoタンパク質バインダー、ペプチド、抗体断片を設計します。ユーザーはJSONキャンペーン（標的、バインダー長、モダリティ、オプションのプロパティ）を設定し、ツールは構造予測、配列再設計、フィルタリングスコアリングを反復し、ランク付けされた候補配列と予測複合体構造を出力します。
- プロジェクト
xibushu/UniForge3DUniForge3Dは、物体の数枚の未調整写真を完全な3Dモデルに変換するAIシステムです。共有潜在空間内で観測されたジオメトリの再構成と欠損部分の生成を同時に行い、ビュー選択ステップを使用して詳細を保持します。リポジトリには、Condaベースのインストール、シンプルなinfer.pyスクリプト、MITライセンスのコード、および（元のライセンスに従う）事前学習済みウェイトが含まれています。
- プロジェクト
- プロジェクト
Dai-Wenxun/MotionLCMMotionLCM は、リアルタイムでテキスト条件付きの人体運動生成を行う研究用コードベースです。1ステップ推論を可能にする潜在一貫性モデルと、明示的な関節軌道を組み込む Motion ControlNet を使用しており、動きの再構成、テキストから動きへの変換、制御可能な動き合成をサポートします。READMEには conda 環境のセットアップ、HumanML3D データの準備、事前学習済みモデルのダウンロード、デモ実行コマンド、SMPL/Blender によるレンダリング、YAML 設定ファイルによる完全な学習手順が記載されています。