Intellindust-AI-Lab/EdgeCrafter

[TMLR 26] EdgeCrafter: Compact ViTs for Edge Dense Prediction via Task-Specialized Distillation

解决的问题

EdgeCrafter 解决了在边缘设备上部署高性能视觉变换器(ViTs)的挑战。它提供紧凑的模型,在保持高精度的同时,适用于密集预测任务(如目标检测、实例分割和姿态估计),且模型足够小、足够快,可实现实时边缘部署。

工作原理

该项目利用任务专用蒸馏技术,创建一系列紧凑的 ViT 模型。提供多种模型尺寸(Small、Medium、Large 和 Extra-Large),以适应不同的性能-延迟权衡。这些模型针对多种硬件后端进行了优化,包括 NVIDIA GPU(通过 TensorRT)、Intel iGPU/dGPU(通过 torch.xpu)和 CPU。

适用人群

适合需要在边缘硬件上构建计算机视觉应用,并希望在高精度(AP)与低延迟之间取得平衡的 AI 研究人员和开发者。

主要亮点

  • 多任务支持:专为对象检测(ECDet)、实例分割(ECSeg)和姿态估计(ECPose)设计的模型。
  • 硬件灵活性:原生支持 CUDA、Intel XPU(iGPU/dGPU)和 CPU。
  • 边缘优化:专为低延迟设计,最小模型在 NVIDIA T4 上的推理速度低至 5.41ms。
  • 广泛集成:已集成至 Intel® Geti™、LightlyTrain 和 LibreYOLO 等工具中。

相关

  • 项目
  • Dispatch
  • 项目
  • 项目
  • 项目