facebookresearch/Ego4d

Ego4d dataset repository. Download the dataset, visualize, extract features & example usage of the dataset

What it solves

它提供基础设施和工具，以访问、处理和训练模型于全球两大自我视角视频数据集：Ego4D 和 Ego-Exo4D。这些数据集旨在帮助 AI 研究者开发更好的第一人称感知和对人类活动的理解。

How it works

项目提供一个 Python 模块 (ego4d) 作为研究人员的工具箱。它包括用于下载海量视频数据的命令行界面 (CLI)、使用 TorchAudio 与 PyAV 等库读取视频的简化 API，以及为 Omnivore、SlowFast 等模型提供包装的特征提取 API。还包含研究代码，例如 Contrastive Language Ego‑centric video Pre‑training (CLEP) 的实现。

Who it’s for

AI 与计算机视觉研究者，专注于自我视角（第一人称）视频分析、人类活动识别和多模态学习。

Highlights

  • Massive Scale: 可访问超过 3,700 小时的标注第一人称视频（Ego4D）以及超过 1,286 小时的多视角视频（Ego-Exo4D）。
  • Multi-View Perspective: Ego-Exo4D 提供同步的第一人称（Aria glasses）和第三人称（GoPro）视角。
  • Integrated Tooling: 包含专用的 CLI 下载器、特征提取包装和可视化引擎。
  • Research Ready: 提供示例 notebook 与基线研究代码，用于在自我视角数据上进行预训练。