mosecorg/mosec
A high-performance ML model serving framework, offers dynamic batching and CPU/GPU pipelines to fully exploit your compute machine
What it solves
Mosec 是一個高效能的模型服務框架，旨在彌合已訓練的機器學習模型與高效線上服務 API 之間的差距。它簡化了將模型轉換為可投入生產的微服務的流程，同時針對雲端部署與高吞吐量進行最佳化。
How it works
它採用混合架構，將 Web 層與任務協調使用 Rust 實作，以非同步 I/O 提供高速與有效的 CPU 使用率，而使用者介面則保留在 Python 中，以提升易用性。框架允許使用者將服務定義為繼承自 mosec.Worker 的 Python 類別，並實作 forward 方法來撰寫模型邏輯。
主要技術機制包括：
- Dynamic Batching：將多位使用者的單一請求彙總成一個批次進行推論，以提升吞吐量。
- Pipelined Stages：允許建立多階段工作流程（例如 CPU 上的前處理與 GPU 上的推論），每個階段在獨立的程序中執行，以最大化硬體利用率。
- Flexible Serialization：預設支援 JSON，亦提供如 msgpack 等二進位格式的 mixin，以更有效處理影像或嵌入向量。
Who it’s for
需要在雲端將機器學習模型部署為可擴展、高效能 API 的 ML 工程師與後端開發者，特別是使用 Kubernetes 或其他容器編排系統的使用者。
Highlights
- Rust-powered core： blazing speed 與高效資源管理。
- Framework-agnostic：支援任何機器學習框架（PyTorch、JAX 等）。
- Cloud-native：內建 Prometheus 監控指標、模型預熱與優雅關閉。
- High throughput：透過 dynamic batching 與多程序 pipeline 進行最佳化。