lightly-ai/lightly

해결하는 문제

LightlySSL은 컴퓨터 비전을 위한 자기지도 학습 (SSL) 구현을 간소화합니다. 모듈형의 즉시 사용 가능한 프레임워크를 제공하여 개발자가 수동 라벨 없이 원시 데이터로 모델을 학습할 수 있게 하며, 장면이 동작에 어떻게 반응하는지 학습하는 "월드 모델" 학습까지 지원합니다.

작동 방식

이 프레임워크는 PyTorch를 위한 빌딩 블록 모음으로 작동합니다. 손실 함수 및 모델 헤드와 같은 저수준 구성 요소를 노출하여 사용자가 사용자 지정 백본 모델을 연결할 수 있도록 합니다. PyTorch Lightning을 통한 분산 학습을 지원하며, DINOv2, MoCo, SimCLR와 같은 최신 SSL 알고리즘의 사전 구축된 구현을 제공합니다. 월드 모델의 경우, LeWM과 같은 기술을 사용하여 원시 프레임과 동작으로부터 학습함으로써 에이전트가 임베딩 공간에서 결과를 상상하여 계획을 세울 수 있도록 합니다.

대상 사용자

이 프로젝트는 복잡한 학습 루프를 처음부터 구축하지 않고도 PyTorch 프로젝트에서 자기지도 학습이나 월드 모델을 구현하려는 컴퓨터 비전 연구자 및 머신러닝 엔지니어를 위해 설계되었습니다.

주요 특징

• 사용자 지정 모델 개발을 위한 저수준 빌딩 블록을 갖춘 모듈형 설계.
• 사전 구현된 최신 모델의 광범위한 라이브러리 (예: DINOv2, MAE, SimCLR).
• PyTorch Lightning을 통한 분산 학습 기본 지원.
• 시각적 목표를 기반으로 동작을 계획할 수 있는 월드 모델 학습 도구 포함.
• 빠른 실험을 위한 수많은 튜토리얼 및 Google Colab 노트북 제공.