kubeflow/kale

解决的问题

Kubeflow Kale 通过消除数据科学家将 Jupyter Notebook 重写为流水线代码的需求，简化了 Kubeflow Pipelines (KFP) 的部署流程。它消除了与 KFP SDK 相关的学习曲线，以及为了生产部署而手动将代码重构为 YAML 文件的过程。

工作原理

Kale 作为一个 JupyterLab 扩展运行，允许用户为笔记本单元格标记特定的标签（例如 imports、step、functions 和 pipeline-parameters）。然后，Kale 会分析代码以自动检测这些步骤之间的依赖关系，并在不需要用户编写 SDK 代码的情况下生成生产就绪的 Kubeflow Pipeline。

适用对象

使用 Jupyter Notebook 进行开发，并希望在无需学习复杂的流水线 SDK 的情况下，通过 Kubeflow Pipelines 将模型过渡到生产、调度或扩展的数据科学家。

亮点

• 一键生成流水线：通过 JupyterLab 中的按钮界面将笔记本转换为流水线。
• 自动依赖检测：自动识别变量在步骤之间的流动，无需实际指定输入和输出。
• 统一的开发环境：在开发和生产中使用同一个笔记本。
• 无需 SDK 知识：直接在笔记本中创建流水线，无需了解 KFP SDK 或 YAML。