dask/dask-kubernetes

解決する問題

Dask は並列コンピューティングのための Python ライブラリです。Kubernetes はコンテナ化されたアプリケーションを管理するためのシステムです。このプロジェクトは両者のネイティブ統合を提供し、Dask が追加のグルー層なしで Kubernetes を基盤となる実行環境として使用できるようにします。

仕組み

README には内部実装は記載されていません。記載されているのは、この統合が「ネイティブ」であること、つまり別のアダプタを介するのではなく、Kubernetes 用に直接構築されているということです。プロジェクトは kubernetes.dask.org で文書化されており、より詳細な情報が入手できます。

対象読者

Dask を並列処理に使用し、Kubernetes クラスタでワークロードを実行したい開発者やデータエンジニア。また、これら 2 つのテクノロジーを組み合わせたインフラストラクチャを維持する人にも関連します。

ハイライト

• Dask と Kubernetes のネイティブ統合。
• Python 3.10、3.11、3.12 をサポート。
• Kubernetes 1.28、1.29、1.30 をサポート。
• ドキュメントは Read the Docs でホストされています。