jolibrain/deepdetect

Deep Learning Server and CLI for Torch and TensorRT

What it solves

DeepDetect は、ディープラーニングモデルのライフサイクル全体を管理する統一ランタイムとインターフェースを提供します。画像、テキスト、表形式データを含むさまざまなモデルタイプのトレーニング、デプロイ、推論プロセスを簡素化し、ユーザーが複雑なバックエンド設定を手動で管理する必要がありません。

How it works

DeepDetect はディープラーニングランタイムとして、Python wheel（プロセス内推論とコマンドラインツール用）、REST サーバー（長時間稼働サービス用）、Docker コンテナのいずれかで利用できます。主なバックエンドとして Torch を使用し、最適化された推論のために TensorRT をサポートしています。システムはモデルリポジトリをファイルシステム上に配置し、データベース依存を回避します。

Who it’s for

このツールは、異なるモダリティ（コンピュータビジョン、NLP、時系列）にわたってモデルをトレーニングおよび提供するための、再現性が高く自動化に適した方法を必要とする開発者や ML エンジニア向けに設計されています。

Highlights

  • Multi-modal support: Handles image classification, object detection, semantic segmentation, language models (BERT, GPT-2), tabular data, and time series.
  • Unified Interface: Offers a CLI, REST API, and Python library for consistent model operations.
  • Backend Optimization: Uses Torch for general operations and TensorRT for high-performance inference.
  • Flexible Deployment: Supports local execution via Python wheels, remote serving via REST, and containerized deployment via Docker.
  • Filesystem-based Storage: Manages model repositories directly on the disk for simplicity.