lightly-ai/lightly-train

解決的問題

LightlyTrain 是一個旨在簡化建立最尖端電腦視覺模型的框架。它解決了從在未標記資料上預訓練基礎模型，到針對特定任務（如物件檢測與分割）進行微調，再到最終優化以供邊緣部署的完整模型開發生命週期管理困難。

工作原理

此框架提供高階 API 以處理各種電腦視覺工作流程。它支援從視覺基礎模型（如 DINOv2 和 DINOv3）進行預訓練與蒸餾，並支援針對特定任務的微調。同時也整合 ONNX 與 TensorRT 等優化工具，以在嵌入式裝置上實現更快的推論。

適用對象

適合需要建構、訓練與部署高效率電腦視覺模型的機器學習工程師與開發者，特別是針對邊緣裝置或專有資料集的場景。

主要亮點

• 全面的任務支援：支援物件檢測、實例分割、全景分割、語意分割與單目深度估計。
• 最尖端架構：整合最新模型，如 LTDETRv2、DINOv3 與 EoMT（CVPR 2025）。
• 邊緣優化：開箱即用支援以 FP16 精度匯出 ONNX 與 TensorRT，適用於低功耗嵌入式裝置。
• 彈性骨幹：相容多種骨幹，包括 ViTs、混合模型與 CNNs，並支援自訂教師模型用於蒸餾。