jolibrain/deepdetect
Deep Learning Server and CLI for Torch and TensorRT
What it solves
DeepDetect 提供统一的运行时和接口，管理深度学习模型的完整生命周期。它简化了训练、部署和运行推理的过程，支持各种模型类型——包括图像、文本和表格数据——且无需用户手动管理复杂的后端配置。
How it works
DeepDetect 作为深度学习运行时，可通过 Python wheel（用于进程内推理和命令行工具）、REST 服务器（用于长期服务）或 Docker 容器使用。它使用 Torch 作为主要后端进行训练和推理，并支持 TensorRT 进行优化推理。系统将模型仓库组织在文件系统上，避免了数据库依赖。
Who it’s for
它面向需要可重复、易于自动化方式来训练和服务模型的开发者和机器学习工程师，支持不同模态（计算机视觉、自然语言处理和时间序列）并使用单一 API 表面。
Highlights
- Multi-modal support: Handles image classification, object detection, semantic segmentation, language models (BERT, GPT-2), tabular data, and time series.
- Unified Interface: Offers a CLI, REST API, and Python library for consistent model operations.
- Backend Optimization: Uses Torch for general operations and TensorRT for high-performance inference.
- Flexible Deployment: Supports local execution via Python wheels, remote serving via REST, and containerized deployment via Docker.
- Filesystem-based Storage: Manages model repositories directly on the disk for simplicity.