kubeflow/kale

解決する課題

Kubeflow Kaleは、データサイエンティストがJupyter Notebookをパイプラインコードに書き換える必要をなくすことで、Kubeflow Pipelines (KFP) のデプロイプロセスを簡素化します。KFP SDKに関連する学習コストや、本番デプロイのためのYAMLファイルへの手動のコード再構成を排除します。

仕組み

KaleはJupyterLabの拡張機能として動作し、ユーザーがノートブックのセルに特定のラベル（imports、step、functions、pipeline-parametersなど）を付けることを可能にします。その後、Kaleがコードを分析してこれらのステップ間の依存関係を自動的に検出し、ユーザーがSDKコードを書くことなく、本番環境向けのKubeflow Pipelineを生成します。

対象ユーザー

Jupyter Notebookを開発に使用しており、複雑なパイプラインSDKを学習することなく、モデルをKubeflow Pipelinesを通じて本番環境、スケジューリング、またはスケーリングへ移行させたいデータサイエンティスト。

ハイライト

• ワンクリックでのパイプライン生成: JupyterLabのボタン操作だけでノートブックをパイプラインに変換します。
• 自動依存関係検出: 変数がステップ間でどのように流れるかを自動的に識別し、入力と出力を明示的に指定する必要をなくします。
• 統一された開発環境: 開発と本番の両方で同じノートブックを使用できます。
• SDKの知識不要: KFP SDKやYAMLの知識がなくても、ノートブック内で直接パイプラインを作成できます。