facebookresearch/Ego4d

Ego4d dataset repository. Download the dataset, visualize, extract features & example usage of the dataset

What it solves

它提供基礎建設與工具，以存取、處理與訓練模型於全球兩大自我視角影片資料集：Ego4D 與 Ego-Exo4D。這些資料集旨在協助 AI 研究者開發更佳的第一人稱感知與人類活動理解。

How it works

此專案提供一個 Python 模組 (ego4d) 作為研究人員的工具箱。它包含下載大量影片資料的指令列介面 (CLI)、使用 TorchAudio 與 PyAV 等函式庫讀取影片的簡化 API，以及提供 Omnivore、SlowFast 等模型的特徵抽取 API 包裝。亦提供研究程式碼，例如 Contrastive Language Ego‑centric video Pre‑training (CLEP) 的實作。

Who it’s for

AI 與電腦視覺研究者，專注於自我視角（第一人稱）影片分析、人類活動辨識與多模態學習。

Highlights

  • Massive Scale: 可取得超過 3,700 小時的標註第一人稱影片（Ego4D）與超過 1,286 小時的多視角影片（Ego-Exo4D）。
  • Multi-View Perspective: Ego-Exo4D 提供同步的第一人稱（Aria glasses）與第三人稱（GoPro）視角。
  • Integrated Tooling: 包含專屬的 CLI 下載器、特徵抽取包裝與視覺化引擎。
  • Research Ready: 提供範例 notebook 與基線研究程式碼，用於在自我視角資料上進行預訓練。