vturrisi/solo-learn

解决的问题

solo-learn 为实现和评估最先进的无监督视觉表示学习自监督方法提供了一个统一且可比较的环境。它消除了从头开始实现这些方法的需要，并包含了各种旨在提高性能和效率的训练技巧。

工作原理

该库基于 PyTorch Lightning 构建，实现了广泛的自监督学习 (SSL) 算法（如 SimCLR、BYOL、MoCo 和 MAE），并将它们与各种神经网络骨干网络（如 ResNet、ViT 和 ConvNeXt）集成在一起。它通过 OmegaConf/Hydra 使用灵活的配置系统，并通过 Nvidia Dali 支持高速数据处理。

适用对象

专为从事计算机视觉研究的研究人员和开发人员设计，他们希望对不同的自监督学习方法进行基准测试、实现新的 SSL 技术，或者在没有标注数据的情况下预训练视觉骨干网络。

亮点

• 广泛的方法库：支持包括 All4One、Barlow Twins、DINO 和 SwAV 在内的各种 SSL 方法。
• 多样化的骨干网络：兼容 ResNet、WideResNet、ViT、Swin、PoolFormer 和 ConvNeXt。
• 高级评估：提供在线线性评估（通过 stop-gradient）、离线线性评估、K-NN 评估和 UMAP 特征空间可视化。
• 性能优化：包括 channel last 转换和 Nvidia Dali 集成，可显著加快数据处理速度。
• 训练工具：与 WandB 集成用于云端日志记录，并提供自定义模型检查点。