jolibrain/deepdetect

Deep Learning Server and CLI for Torch and TensorRT

What it solves

DeepDetect는 딥러닝 모델의 전체 수명 주기를 관리하는 통합 런타임 및 인터페이스를 제공합니다. 이미지, 텍스트, 표 형식 데이터를 포함한 다양한 모델 유형에 대한 학습, 배포 및 추론 과정을 단순화하여 사용자가 복잡한 백엔드 설정을 직접 관리할 필요가 없습니다.

How it works

DeepDetect는 딥러닝 런타임으로서 Python wheel(프로세스 내 추론 및 명령줄 도구용), REST 서버(장기 서비스용), Docker 컨테이너 중 하나를 통해 사용할 수 있습니다. 주요 백엔드로 Torch를 사용하고, 최적화된 추론을 위해 TensorRT를 지원합니다. 시스템은 모델 저장소를 파일 시스템에 직접 배치하여 데이터베이스 의존성을 없앱니다.

Who it’s for

이 도구는 다양한 모달리티(컴퓨터 비전, NLP, 시계열)에서 모델을 학습하고 제공해야 하는 개발자 및 ML 엔지니어를 위해 설계되었으며, 재현 가능하고 자동화에 친화적인 방식을 제공합니다.

Highlights

  • Multi-modal support: Handles image classification, object detection, semantic segmentation, language models (BERT, GPT-2), tabular data, and time series.
  • Unified Interface: Offers a CLI, REST API, and Python library for consistent model operations.
  • Backend Optimization: Uses Torch for general operations and TensorRT for high-performance inference.
  • Flexible Deployment: Supports local execution via Python wheels, remote serving via REST, and containerized deployment via Docker.
  • Filesystem-based Storage: Manages model repositories directly on the disk for simplicity.