bentoml/BentoML

The easiest way to serve AI apps and models - Build Model Inference APIs, Job queues, LLM apps, Multi-model pipelines, and more!

What it solves

BentoML 簡化了將 AI/ML 模型轉換為可投入生產的推論 API 的流程。它消除「相依性地獄」以及建立高效能服務系統的複雜性，讓開發者不論模型是使用何種框架或模態建構，都能輕鬆部署。

How it works

BentoML 是一個 Python 函式庫，允許使用者在 service.py 檔案中使用標準的 Python 型別提示定義模型服務邏輯。它提供一套工具，將這些服務打包成稱為「Bento」的標準化可部署產物，之後可自動轉換為 Docker 容器映像檔，部署至任何環境，或透過 BentoCloud 進行管理。

Who it’s for

需要為任何開源或自訂 AI 模型建置、打包與部署可擴展、高效能模型推論 API 的 AI/ML 工程師。

Highlights

  • Framework Agnostic: 支援任何機器學習框架、模態與推論執行環境。
  • Serving Optimizations: 內建動態批次、模型平行化與多階段管線協調等功能，以最大化 CPU/GPU 使用率。
  • Simplified Deployment: 透過簡易的設定檔自動產生 Docker 映像檔，並管理環境與相依性。
  • Flexible Orchestration: 支援多模型推論圖的協調與自訂業務邏輯實作。