lightly-ai/lightly-train

解决的问题

LightlyTrain 是一个旨在简化构建最先进计算机视觉模型的框架。它解决了从在无标签数据上对基础模型进行预训练，到针对特定任务（如目标检测和分割）进行微调，再到最终优化以用于边缘部署的完整模型开发生命周期管理的困难。

工作原理

该框架提供高级 API 以处理各种计算机视觉工作流。它支持从视觉基础模型（如 DINOv2 和 DINOv3）进行预训练和蒸馏，并支持针对特定任务的微调。它还与 ONNX 和 TensorRT 等优化工具集成，以在嵌入式设备上实现更快的推理速度。

适用人群

适用于需要构建、训练和部署高性能计算机视觉模型的机器学习工程师和开发者，特别是那些针对边缘设备或专有数据集的场景。

主要亮点

• 全面的任务支持：支持目标检测、实例分割、全景分割、语义分割和单目深度估计。
• 最先进架构：集成最新模型，如 LTDETRv2、DINOv3 和 EoMT（CVPR 2025）。
• 边缘优化：开箱即用支持以 FP16 精度导出 ONNX 和 TensorRT，适用于低功耗嵌入式设备。
• 灵活的骨干网络：兼容多种骨干网络，包括 ViTs、混合模型和 CNNs，并支持自定义教师模型用于蒸馏。