ayushjain1144/trackeverything

Code repository for "TrackEverything: Long Horizon Dense Tracking via De-Duplicating 3D Scene Representations"

这是什么

TrackEverything 是一个来自卡内基梅隆大学和 Meta 的研究项目(论文 + 即将发布的代码),针对一个困难的计算机视觉问题:密集跟踪——在视频中跨帧跟踪每一个点——并且是在长时间跨度(数秒或数分钟,而不仅仅是几帧)内进行。

标题中的核心思想是**“对 3D 场景表示进行去重”**:该方法不是直接在 2D 中跟踪像素(当物体被遮挡、模糊或外观变化时,这种方法会失效),而是构建场景的 3D 表示,并移除冗余/重复的 3D 点,从而使每个被跟踪的点在时间上都是唯一且稳定的。这使得跟踪能够在点消失又重现的长时间跨度内得以维持。

为什么重要

长时间跨度的密集跟踪是机器人技术、AR/VR、视频编辑和 3D 重建的基础构建块——任何需要知道“这个物理点在长视频中去了哪里”的应用。以往的方法会随时间漂移或丢失点;这项工作正是针对这一局限性。

状态

  • 论文:可在 arXiv 上获取(链接见 README)
  • 项目页面:trackeverything.github.io(含预告演示)
  • 代码:尚未发布——README 称“即将推出(也许下周)”

幕后团队

由学术界(CMU)和工业界(Meta)的研究人员组成,其中多人在 3D 视觉和 SLAM 领域有着出色的履历(例如 Tanner Schmidt、Jakob Engel)。

注意事项

README 只是一个简短的论文公告——它给出了标题、作者、链接和引用信息,但没有提供方法的技术细节。以上解释是根据标题和该领域的背景推断出来的,并非来自详细的书面说明。

相关

  • 项目
  • 项目
  • 项目
  • 项目