dask/dask-kubernetes

Native Kubernetes integration for Dask

解决的问题

Dask 是一个用于并行计算的 Python 库。Kubernetes 是一个用于管理容器化应用程序的系统。本项目提供两者之间的原生集成,让 Dask 无需额外的粘合层即可将 Kubernetes 作为其底层执行环境。

工作原理

README 未描述内部实现。它说明该集成是“原生的”,意味着它是直接为 Kubernetes 构建的,而不是通过单独的适配器。项目文档位于 kubernetes.dask.org,那里提供了更详细的细节。

适用人群

使用 Dask 进行并行处理并希望在 Kubernetes 集群上运行工作负载的开发者和数据工程师。对于维护结合这两种技术的基础设施的任何人来说,这也具有相关性。

亮点

  • Dask 和 Kubernetes 的原生集成。
  • 支持 Python 3.10、3.11 和 3.12。
  • 支持 Kubernetes 1.28、1.29 和 1.30。
  • 文档托管在 Read the Docs 上。

相关

  • 项目
  • 项目
  • 项目