fluid-cloudnative/fluid

解決的問題

Fluid 解決了在 Kubernetes 上執行的大數據與 AI 訓練作業中與資料存取相關的效能瓶頸。它透過在分散式系統中管理並快取資料集，減少計算引擎（如 TensorFlow 或 Spark）從遠端儲存取得資料所需的等待時間，從而加速資料存取。

工作原理

Fluid 作為 Kubernetes 原生的分散式資料集編排器與加速器。它引入了兩個核心概念：

• Dataset：計算引擎使用的相關資料的邏輯群組。Fluid 提供對這些資料集的統一抽象，無論其儲存來源為何。
• Runtime：負責強制執行隔離、共用與版本管理，並提供在整個生命週期中處理資料集的介面，以實現資料加速。

該系統結合資料快取技術、彈性擴展與資料親和性排程，確保資料在物理上更接近計算工作，從而確保高效率。

適用對象

在 Kubernetes 上管理 AI 與大數據工作負載的開發者與平台工程師，需要優化訓練作業或分析任務中的資料載入速度與資料存取效能。

主要亮點

• 資料集抽象：支援來自多個儲存來源的資料集統一抽象，並具備可觀測性功能。
• 可擴展的快取執行時：為不同執行時與第三方儲存系統之間的資料操作提供統一存取介面。
• 自動化資料操作：支援多種自動化操作模式，便於系統整合。
• 彈性與排程：結合快取、彈性擴展與資料親和性排程，提升效能。
• 平台無關：支援原生、邊緣、Serverless Kubernetes 叢集以及多叢集環境。