flyteorg/flyte
Dynamic, resilient AI orchestration. Coordinate data, models, and compute as you build AI workflows.
What it solves
Flyte 旨在可靠地编排大规模的机器学习管道、模型和代理。它允许开发者以纯 Python 构建和部署这些复杂工作流,简化了从本地开发到生产级分布式系统的过渡。
How it works
Flyte 使用基于 Python 的环境系统来定义任务和工作流。用户可以通过 TaskEnvironment 或 FastAPIAppEnvironment 指定确切的环境(包括 Python 版本和 pip 包),由 Flyte 负责处理。它支持使用 asyncio 的异步任务执行,并提供 Python API 与 CLI,让模型可以作为服务(例如通过 FastAPI)运行和提供。
Who it’s for
此平台面向需要扩展 Python 机器学习工作流的 ML 工程师和数据科学家,无论是简单的任务编排还是将模型以 API 形式提供服务。
Highlights
- Pure Python Experience: 使用 Python 装饰器和原生 async 支持来编排管道和代理。
- Kubernetes-native: 后端基础设施构建为在 Kubernetes 上的分布式多节点服务。
- Model Serving: 内置通过 FastAPI 集成将模型作为 API 提供的能力。
- Local Development: 包含 TUI,提供丰富的本地开发体验,并有托管的浏览器端演示。