Intellindust-AI-Lab/DEIMv2

해결하는 문제

DEIMv2는 다양한 하드웨어에서 높은 정확도와 효율성을 모두 갖춘 실시간 객체 감지의 필요성을 해결합니다. 기존 감지기는 속도와 정확도 사이에서 절충하는 경우가 많지만, DEIMv2는 초경량(Atto)부터 초대형(X)까지의 모델 크기 스펙트럼을 제공하여 배포 시나리오에 맞는 적절한 균형을 선택할 수 있습니다. 도전적인 COCO 벤치마크에서 최첨단 결과를 달성하며, S 모델은 이미 50 AP를 넘어 정확도가 속도를 위해 희생될 필요가 없음을 입증합니다.

작동 방식

DEIMv2는 DEIM 감지 프레임워크의 진화입니다. 현대 비전 백본인 DINOv3의 풍부한 특징을 활용하여 성능을 향상시킵니다. 더 작은 변형(S 및 M)의 경우 DINOv3에서 증류된 맞춤형 ViT-Tiny 백본을 사용하여 효율적이면서도 강력한 모델을 구현합니다. 코드베이스는 구성 가능한 훈련, 테스트 및 미세 조정 파이프라인을 제공하며, 모델은 Hugging Face에 공개되어 쉽게 로드할 수 있습니다. 또한 ONNX로 내보내고 TensorRT 또는 OpenVINO로 배포하는 도구와 Intel Geti 통합을 통한 코드 없는 미세 조정도 포함합니다.

대상 사용자

DEIMv2는 엣지 디바이스(Atto, Femto 또는 Pico 사용) 또는 고성능 서버(L 또는 X 사용)에서 실시간 애플리케이션을 위한 정확한 객체 감지가 필요한 개발자와 연구자를 대상으로 합니다. 또한 COCO 형식의 사용자 정의 데이터 세트에서 미세 조정하려는 팀이나 Geti를 통해 Intel 하드웨어에 배포해야 하는 팀에도 적합합니다. 이 프로젝트는 기여를 환영하며 사전 훈련된 모델에서 사용자 정의 훈련으로의 간단한 경로를 제공합니다.

주요 특징

• COCO에서 최첨단 성능: S 모델은 50 AP를 초과하고 X 모델은 57.8 AP에 도달합니다.
• 8가지 모델 변형(Atto, Femto, Pico, N, S, M, L, X)이 광범위한 계산 예산을 포괄합니다.
• DINOv3 특징과 맞춤형 증류 ViT 백본을 사용하여 정확도와 속도의 균형을 맞춥니다.
• 모델과 코드는 Hugging Face 및 GitHub에서 제공되며 상세한 구성 파일이 포함됩니다.
• 배포 지원: ONNX 내보내기, TensorRT(FP16용), Intel Geti 통합을 통한 OpenVINO.
• X-AnyLabeling 및 LightlyTrain과 통합되어 실용성을 확장합니다.