jolibrain/deepdetect

Deep Learning Server and CLI for Torch and TensorRT

What it solves

DeepDetect 提供統一的執行環境與介面，管理深度學習模型的完整生命週期。它簡化了訓練、部署與執行推論的流程，支援各種模型類型——包括影像、文字與表格資料——且不需要使用者手動管理複雜的後端設定。

How it works

DeepDetect 作為深度學習執行環境，可透過 Python wheel（用於程式內推論與指令列工具）、REST 伺服器（用於長時間服務）或 Docker 容器使用。它以 Torch 為主要後端進行訓練與推論，並支援 TensorRT 以優化推論效能。系統將模型倉庫組織於檔案系統中，避免了資料庫依賴。

Who it’s for

此工具設計給需要可重複、易於自動化的方式來訓練與服務模型的開發者與機器學習工程師，支援不同模態（電腦視覺、自然語言處理與時間序列）並使用單一 API 介面。

Highlights

  • Multi-modal support: Handles image classification, object detection, semantic segmentation, language models (BERT, GPT-2), tabular data, and time series.
  • Unified Interface: Offers a CLI, REST API, and Python library for consistent model operations.
  • Backend Optimization: Uses Torch for general operations and TensorRT for high-performance inference.
  • Flexible Deployment: Supports local execution via Python wheels, remote serving via REST, and containerized deployment via Docker.
  • Filesystem-based Storage: Manages model repositories directly on the disk for simplicity.