🎬ActionMesh: A fast video to animated mesh model with unprecedented quality. Generate animated mesh seamlessly importable into any 3D software in less than a minute.

ActionMesh – 動画をアニメーション化された3Dメッシュに変換

機能概要

ActionMeshは、短い動画（16‑31フレーム）から完全な3Dアニメーションメッシュを作成する研究グレードのモデルです。以下の2つの方法で動作します：

Video → 4D – 動画のみを入力すると、被写体の動きと完全に一致する新しいメッシュを構築します。
{Video + 3D} → 4D – 既存の静的メッシュ（例：.glbファイル）を提供すると、元のトポロジーとテクスチャを維持したまま、動画内の動きに合わせてアニメーション化します。

出力は、フレームごとの .glb ファイルのシーケンス、Blenderにインポート可能な単一のアニメーション付き .glb ファイル、またはアニメーションのレンダリング動画として取得できます。

特徴と利点

ビジョンとグラフィックスの融合 – 動画理解（DINOv2、SAM2、背景削除）と3D拡散モデルを組み合わせ、ジオメトリと動きを合成します。
インタラクティブなデモに十分な高速性 – H100 GPUではデフォルトで約75秒、--fastフラグを使用すると約45秒で処理が完了します。
低RAMオプション – --low_ram を使用することでColab T4 (12 GB) でも動作し、強力なGPUを持たない研究者でも利用可能です。
オープンソースのベンチマーク – 付属の ActionBench データセット（128組の動画 ↔ アニメーション点群ペア）により、コミュニティで将来の手法を評価・比較できます。

クイックスタート

# clone and install
git clone git@github.com:facebookresearch/actionmesh.git && cd actionmesh
git submodule update --init --recursive
pip install -r requirements.txt -e .

# simple video‑to‑mesh run (replace paths as needed)
python inference/video_to_animated_mesh.py \
    --input assets/examples/davis_camel \
    --blender_path /path/to/blender   # optional, for .glb export

より高速な推論モードには --fast を、低スペックなGPU（Colabなど）を使用する場合は --low_ram を追加してください。

主要コンポーネントと依存関係

コンポーネント	役割	インストール / ソース
PyTorch 2.4 / CUDA 12.1	コアとなる深層学習フレームワーク
PyTorch3D	アニメーションメッシュのレンダリング（{video+3D}モードおよびベンチマーク評価に必要）
Blender 3.5.1	フレームごとのメッシュを単一のアニメーションGLBに変換
TripoSG	形状事前知識のバックボーンとして使用される画像から3Dへの生成器
DINOv2‑large	強力なフレーム特徴を提供するビジョンエンコーダー
RMBG‑1.4	マスクがない場合の自動背景削除
Diffusers / Transformers	基盤となる拡散モデルとTransformerの実装

入力要件

動画：.mp4 または PNGフレームのフォルダ。
長さ：16‑31 フレーム（余分なフレームは無視されます）。
マスクはオプションです。マスクがない場合、パイプラインはRMBGを実行して前景を切り出します。最良の結果を得るために、READMEではSAM2デモを使用してクリーンなマスクを作成することを推奨しています。

出力フォーマット

出力	内容	使用方法
`mesh_000.glb`, `mesh_001.glb`, …	タイムステップごとのメッシュ – カスタムレンダリングパイプラインに有用
`animated_mesh.glb`	アニメーションが埋め込まれた単一ファイル – Blender 3.5.1にドラッグ＆ドロップ
`rendered.mp4`	PyTorch3Dでレンダリングされた動画 – 視覚的なクイックチェック

ベンチマークとパフォーマンス

ハードウェア	モード	時間	品質に関する注記
H100 GPU	デフォルト	~75 s	最高品質
H100 GPU	`--fast`	~45 s	品質がわずかに低下
Colab T4 (12 GB)	`--low_ram` + `--fast`	~1 min 30 s	プロトタイピングに許容可能

コミュニティリソース

Hugging Face デモ – facebook/ActionMesh にあるインタラクティブなWeb UI。
Colab ノートブック – すぐに実行可能なノートブック (ActionMesh.ipynb)。
ActionBench データセット – 評価用にHugging Face (facebook/actionbench) でホストされています。

ライセンスと引用

コードはリポジトリ内の LICENSE ファイルのライセンスに基づいてリリースされています。研究でこの手法を使用する場合は、CVPR 2026の論文を引用してください（完全なbibtexはREADMEに記載されています）。

上記のすべての情報はリポジトリのREADMEから直接引用したものであり、外部からの推測は含まれていません。

facebookresearch/actionmesh