lightly: self-supervised pre-training을 위한 모듈형 컴퓨터 비전 프레임워크

해결하는 문제

LightlySSL은 자기지도 학습(self-supervised learning, SSL)을 더 쉽게 접근하고 구현할 수 있도록 설계된 컴퓨터 비전 프레임워크입니다. 개발자가 레이블이 없는 데이터로 모델을 학습시킬 수 있게 하여, 컴퓨터 비전 작업을 위한 대규모의 수동 레이블링된 데이터셋에 대한 의존도를 낮춰줍니다.

작동 방식

PyTorch와 PyTorch Lightning을 기반으로 구축된 이 프레임워크는 손실 함수(loss functions), 모델 헤드(model heads), 데이터 변환(data transforms)을 포함한 모듈형 빌딩 블록 세트를 제공하며, 이를 조합하여 다양한 SSL 알고리즘을 구현할 수 있습니다. 다양한 사전 학습(pre-training) 방법을 지원하며, 사용자가 특징 추출을 위해 커스텀 백본 모델(custom backbone models)을 통합할 수 있도록 합니다.

대상 사용자

분류(classification), 탐지(detection), 세그멘테이션(segmentation)과 같은 작업을 위해 자기지도 사전 학습을 구현하고자 하는 컴퓨터 비전 분야의 머신러닝 엔지니어 및 연구자들을 대상으로 합니다.

주요 특징

• 광범위한 모델 지원: SimCLR, MoCo, DINO, BYOL, MAE, LeJEPA와 같은 인기 있는 SSL 모델의 구현을 포함합니다.
• 모듈형 설계: 유연한 모델 구축을 위해 손실 함수 및 프로젝션 헤드(projection heads)와 같은 저수준 구성 요소를 노출합니다.
• PyTorch와의 대칭성: 원활한 개발자 경험을 위해 PyTorch와 유사한 스타일로 작성되었습니다.
• 분산 학습(Distributed Training): PyTorch Lightning을 통한 분산 학습을 기본적으로 지원합니다.