facebookresearch/Ego4d

Ego4d dataset repository. Download the dataset, visualize, extract features & example usage of the dataset

What it solves

世界最大規模のエゴセントリック動画データセットである Ego4D と Ego-Exo4D へのアクセス、処理、モデル学習のためのインフラとツールを提供します。これらのデータセットは、AI 研究者が第一人称視点の認識と人間活動の理解を向上させることを目的としています。

How it works

本プロジェクトは Python モジュール (ego4d) を提供し、研究者向けのツールキットとして機能します。大量の動画データをダウンロードするためのコマンドラインインターフェース (CLI)、TorchAudio や PyAV などのライブラリを用いた動画読み込みの簡易 API、Omnivore や SlowFast といったモデル用の特徴抽出ラッパー API を含みます。また、Contrastive Language Ego‑centric video Pre‑training (CLEP) の実装など、モデル学習用の研究コードも含まれています。

Who it’s for

第一人称（エゴセントリック）動画解析、人間活動認識、マルチモーダル学習に焦点を当てた AI・コンピュータビジョン研究者向けです。

Highlights

Massive Scale: Ego4D で 3,700 時間以上の注釈付き第一人称動画、Ego-Exo4D で 1,286 時間以上のマルチビュー動画にアクセス可能。
Multi-View Perspective: Ego-Exo4D は第一人称（Aria glasses）と第三人称（GoPro）視点を同期させて提供。
Integrated Tooling: 専用 CLI ダウンローダ、特徴抽出ラッパー、可視化エンジンを含む。
Research Ready: サンプルノートブックとベースライン研究コードを提供し、エゴセントリックデータでの事前学習を支援。