TencentARC/Track4World

何を解決するか

Track4Worldは単眼動画におけるすべてのピクセルの高密度3D追跡の課題に対処します。任意のフレームペア間での3Dシーンフローの推定を可能にし、ユーザーがグローバルなワールドセントリック座標系ですべてのピクセルの動きを追跡できるようにします。カメラ相対の位置や少数のスパースな点にとどまらず、世界中心の座標系での追跡が可能になります。

仕組み

このプロジェクトは高密度3Dシーンフローを推定するためのフィードフォワードアプローチを使用しています。Depth Anything v3、MoGe、Pi3などの複数の深度バックボーンをサポートし、3D運動を再構成します。ワールドセントリック追跡のためには、DINOやSAM2を統合して動的オブジェクトをセグメンテーションでき、前景オブジェクトと静的背景を分離することで、視覚化と追跡精度を向上させます。

対象ユーザー

コンピュータビジョン、3Dシーン再構成、運動解析に取り組む研究者や開発者向けです。単一カメラからの動画入力から高密度3D追跡が必要な方々に最適です。

特徴

• 高密度3D追跡: ワールドセントリック座標系でフレーム間のすべてのピクセルを追跡します。
• フィードフォワード推定: 任意のフレームペア間での3Dシーンフローを効率的に推定します。
• メトリックスケール対応: Depth Anything v3バックボーンを使用すると、メートル単位の座標出力を提供します。
• マルチバックボーン互換性: MoGeやPi3を含むさまざまな深度推定モデルと互換性があります。