microsoft/XPretrain

XPretrain – Microsoft Research의 멀티모달 사전 학습

정의 – XPretrain은 video-language 및 image-language 쌍에 대한 대규모 사전 학습을 위한 연구 코드와 데이터셋 모음입니다. 이는 Microsoft의 Multimedia Search & Mining (MSM) 그룹에서 발표한 주요 컨퍼런스(CVPR 2022, NeurIPS 2022, ICLR 2023)의 여러 모델과 그에 수반되는 HD-VILA-100M 데이터셋을 포함하고 있습니다.

주요 구성 요소

Modality	Model / Dataset	Paper (venue)	What it does
Video-Language	HD-VILA	CVPR 2022	100M-clip HD-VILA-100M 데이터셋을 활용한 고해상도 video-language 사전 학습
Video-Language	LF-VILA	NeurIPS 2022	긴 형식의 비디오(수 분 단위)에 대한 사전 학습
Video-Language	CLIP-ViP	ICLR 2023	temporal pooling module을 추가하여 image-language CLIP 패러다임을 비디오로 확장
Image-Language	Pixel-BERT	arXiv 2020	raw pixels로부터 학습된 end-to-end image-language transformer
Image-Language	SOHO	CVPR 2021 (oral)	quantised visual tokens를 사용하여 Pixel-BERT를 개선
Image-Language	VisualParsing	NeurIPS 2021	parsing objective를 활용한 Transformer-based image-language 사전 학습

제공되는 내용

• Code 각 모델에 대한 코드(학습 스크립트, 모델 정의, 평가 유틸리티)가 하위 폴더(hd-vila/, LF-VILA/, CLIP-ViP/, etc.)에 위치합니다.
• Pre-trained checkpoints (논문과 함께 공개된) 비디오 캡셔닝, 비디오 질의응답, 이미지-텍스트 검색 등과 같은 다운스트림 태스크에 미세 조정할 수 있습니다.
• HD-VILA-100M dataset – 대규모 사전 학습을 위한 공개된 고해상도 video-text 쌍 데이터셋 모음입니다.

주요 활용 사례

• 새로운 video-language 모델을 구축하려는 연구자들은 공개된 체크포인트를 사용하여 자신의 데이터로 미세 조정할 수 있습니다.
• 비디오 검색, 캡션 생성 또는 멀티모달 검색과 같은 태스크를 위해 강력한 video-text encoder가 필요한 실무자.
• 해상도, temporal length, 또는 token quantisation이 멀티모달 학습에 미치는 영향을 연구하는 학계.

시작하기

1. 저장소를 클론합니다: git clone https://github.com/microsoft/XPretrain.git.
2. 필요한 Python 패키지를 설치합니다 (README는 각 하위 폴더 내의 requirements.txt를 참조합니다).
3. 데이터 준비, 학습 및 추론 명령은 특정 모델 디렉토리의 README (예: hd-vila/README.md)를 따릅니다.
4. 데이터셋의 경우, hd-vila-100m/ 폴더에서 HD-VILA-100M 파일을 다운로드합니다 (링크는 해당 폴더에 제공됨).

커뮤니티 및 기여

• 기여는 Microsoft의 CLA 하에 수용됩니다. PR을 생성할 때 봇이 프로세스를 안내할 것입니다.
• 사전 학습된 모델에 대한 도움은 Issues를 통해 요청할 수 있습니다. 직접적인 질문은 저자인 Bei Liu 또는 Jianlong Fu에게 문의하십시오.

중요성 XPretrain은 여러 최첨단 멀티모달 사전 학습 파이프라인을 한곳에 모아, 커뮤니티가 방대한 학습 인프라를 처음부터 다시 구축하지 않고도 결과를 재현하고, 새로운 아이디어를 벤치마크하고, 대규모 video-language 표현을 활용할 수 있도록 합니다.