ayushjain1144/trackeverything

概要

TrackEverything は、カーネギーメロン大学とMetaによる研究プロジェクト（論文＋近日公開予定のコード）で、難しいコンピュータビジョンの問題に取り組んでいます。それは、高密度トラッキング — ビデオ内のすべてのポイントをフレーム間で追跡すること — を、長い時間スパン（数フレームだけでなく、数秒または数分）にわたって行うものです。

タイトルにある核となるアイデアは、**「3Dシーン表現の重複排除」**です。2Dでピクセルを直接追跡する代わりに（オブジェクトが遮蔽されたり、ぼやけたり、外観が変化したりすると失敗します）、この手法はシーンの3D表現を構築し、冗長な/重複した3Dポイントを削除して、各追跡ポイントが時間経過にわたって一意で安定するようにします。これにより、ポイントが消えて再び現れる長いスパンでもトラッキングが持続します。

重要性

長期的な高密度トラッキングは、ロボティクス、AR/VR、ビデオ編集、3D再構築など、長いビデオで「この物理的なポイントがどこへ行ったか」を知る必要があるあらゆる分野の基盤となります。従来の手法は時間の経過とともにドリフトしたりポイントを失ったりしますが、この研究はその限界を対象としています。

ステータス

• 論文: arXivで公開中（READMEにリンクあり）
• プロジェクトページ: trackeverything.github.io（ティーザーデモあり）
• コード: 未公開 — READMEには「近日公開（たぶん来週）」と記載

背景

学術（CMU）と産業（Meta）の研究者が混在し、3DビジョンとSLAMで確かな実績を持つ数名（例：Tanner Schmidt、Jakob Engel）が参加しています。

注意点

READMEは簡素な論文発表であり、タイトル、著者、リンク、引用情報のみで、手法の技術的詳細はありません。上記の説明は、タイトルと分野の文脈から推測したものであり、詳細な文書に基づくものではありません。