lucidrains/vit-pytorch

解决的问题

该项目提供了一个全面的 PyTorch 实现，涵盖 Vision Transformer (ViT) 及其众多后续架构变体。它使研究人员和开发者能够轻松集成使用 Transformer 编码器而非传统卷积神经网络的最先进视觉分类模型。

如何工作

该库实现了核心 ViT 架构——将图像视为一系列图像块，由 Transformer 处理——并扩展到多种专用版本。这些变体包括训练速度优化（Simple ViT）、处理可变图像分辨率（NaViT）、从卷积网络进行知识蒸馏（DistillableViT），以及混合卷积与注意力的混合模型（CvT、LeViT）。

适用人群

专为从事计算机视觉任务的机器学习工程师和 AI 研究人员设计，特别适合希望在不从零实现的情况下实验不同基于 Transformer 的图像分类架构的用户。

主要亮点

• 丰富的变体库：包含 NaViT、CaiT、CrossViT、PiT、LeViT、CvT、Twins SVT 等多种实现。
• 灵活的训练支持：支持高级技术，如使用蒸馏令牌将知识从教师模型传递到学生模型。
• 可变分辨率支持：NaViT 实现支持将多种分辨率的图像打包到单个批次中进行训练。
• SOTA 架构：实现了现代改进技术，如 2D 正弦位置嵌入和全局平均池化。