facebookresearch/Ego4d

Ego4d dataset repository. Download the dataset, visualize, extract features & example usage of the dataset

What it solves

세계 최대 규모의 에고센트릭 비디오 데이터셋인 Ego4D와 Ego-Exo4D에 접근하고, 이를 처리하며 모델을 학습할 수 있는 인프라와 도구를 제공합니다. 이 데이터셋은 AI 연구자들이 1인칭 인식 및 인간 활동 이해를 향상시키는 데 도움을 주기 위해 설계되었습니다.

How it works

프로젝트는 Python 모듈 (ego4d)을 제공하여 연구자들을 위한 툴킷 역할을 합니다. 대량의 비디오 데이터를 다운로드하기 위한 커맨드라인 인터페이스(CLI), TorchAudio와 PyAV와 같은 라이브러리를 이용한 비디오 읽기용 간소화 API, Omnivore와 SlowFast와 같은 모델을 위한 특징 추출 API 래퍼를 포함합니다. 또한 Contrastive Language Ego‑centric video Pre‑training (CLEP) 구현과 같은 연구 코드도 포함됩니다.

Who it’s for

1인칭(에고센트릭) 비디오 분석, 인간 활동 인식, 멀티모달 학습에 집중하는 AI 및 컴퓨터 비전 연구자를 위한 것입니다.

Highlights

Massive Scale: Ego4D에서 3,700시간 이상의 주석이 달린 1인칭 비디오와 Ego-Exo4D에서 1,286시간 이상의 멀티뷰 비디오에 접근할 수 있습니다.
Multi-View Perspective: Ego-Exo4D는 동기화된 1인칭(Aria glasses) 및 3인칭(GoPro) 시점을 제공합니다.
Integrated Tooling: 전용 CLI 다운로드 도구, 특징 추출 래퍼, 시각화 엔진을 포함합니다.
Research Ready: 예제 노트북과 베이스라인 연구 코드를 제공하여 에고센트릭 데이터에 대한 사전 학습을 지원합니다.