flyteorg/flyte

Dynamic, resilient AI orchestration. Coordinate data, models, and compute as you build AI workflows.

What it solves

Flyte 旨在可靠地協調大規模的機器學習管道、模型與代理。它允許開發者以純 Python 建構與部署這些複雜工作流程，簡化了從本機開發到生產級分散系統的過渡。

How it works

Flyte 使用基於 Python 的環境系統來定義任務與工作流程。使用者可以透過 TaskEnvironment 或 FastAPIAppEnvironment 指定確切的環境（包括 Python 版本與 pip 套件），由 Flyte 負責處理。它支援使用 asyncio 的非同步任務執行，並提供 Python API 與 CLI，讓模型可以作為服務（例如透過 FastAPI）執行與提供。

Who it’s for

此平台適合需要擴展 Python 機器學習工作流程的 ML 工程師與資料科學家，無論是簡單的任務協調或是將模型以 API 形式提供服務。

Highlights

  • Pure Python Experience: 使用 Python 裝飾器與原生 async 支援來協調管道與代理。
  • Kubernetes-native: 後端基礎設施建構為在 Kubernetes 上的分散式多節點服務。
  • Model Serving: 內建透過 FastAPI 整合將模型作為 API 提供的功能。
  • Local Development: 包含 TUI，提供豐富的本機開發體驗，並有託管的瀏覽器即時示範。