flyteorg/flyte

Dynamic, resilient AI orchestration. Coordinate data, models, and compute as you build AI workflows.

What it solves

Flyte 旨在可靠地编排大规模的机器学习管道、模型和代理。它允许开发者以纯 Python 构建和部署这些复杂工作流,简化了从本地开发到生产级分布式系统的过渡。

How it works

Flyte 使用基于 Python 的环境系统来定义任务和工作流。用户可以通过 TaskEnvironmentFastAPIAppEnvironment 指定确切的环境(包括 Python 版本和 pip 包),由 Flyte 负责处理。它支持使用 asyncio 的异步任务执行,并提供 Python API 与 CLI,让模型可以作为服务(例如通过 FastAPI)运行和提供。

Who it’s for

此平台面向需要扩展 Python 机器学习工作流的 ML 工程师和数据科学家,无论是简单的任务编排还是将模型以 API 形式提供服务。

Highlights

  • Pure Python Experience: 使用 Python 装饰器和原生 async 支持来编排管道和代理。
  • Kubernetes-native: 后端基础设施构建为在 Kubernetes 上的分布式多节点服务。
  • Model Serving: 内置通过 FastAPI 集成将模型作为 API 提供的能力。
  • Local Development: 包含 TUI,提供丰富的本地开发体验,并有托管的浏览器端演示。