deepdetect: 一个用于跨多种模态进行统一训练和推理的深度学习运行时和 REST 服务器

它解决了什么问题

DeepDetect 提供了一个统一的运行时和接口，用于管理深度学习模型的全生命周期。它简化了在各种模型类型（包括图像、文本和表格数据）上进行训练、部署和运行推理的过程，而无需用户手动管理复杂的后端配置。

工作原理

DeepDetect 作为一个深度学习运行时运行，可以通过 Python wheel（用于进程内推理和命令行工具）、REST 服务器（用于长期运行的服务）或 Docker 容器来使用。它使用 Torch 作为训练和推理的主要后端，并支持 TensorRT 以实现优化的推理。该系统在文件系统上组织模型仓库，从而避免了对数据库依赖的需求。

适用人群

它专为需要一种可重复、自动化友好且通过单一 API 表面在不同模态（计算机视觉、NLP 和时间序列）上训练和提供模型服务的开发人员和 ML 工程师设计。

亮点

• 多模态支持：处理图像分类、目标检测、语义分割、语言模型（BERT, GPT-2）、表格数据和时间序列。
• 统一接口：提供 CLI、REST API 和 Python 库，以实现一致的模型操作。
• 后端优化：使用 Torch 进行常规操作，并使用 TensorRT 进行高性能推理。
• 灵活部署：支持通过 Python wheels 进行本地执行、通过 REST 进行远程提供服务，以及通过 Docker 进行容器化部署。
• 基于文件系统的存储：直接在磁盘上管理模型仓库，以实现简单性。