tensorflow/tfx

何を解決するか

TFXは、機械学習モデルを本番環境で展開・管理する課題に対処します。シンプルなモデルから完全に自動化され信頼性の高いMLパイプラインへと移行するための構造化されたプラットフォームを提供します。

動作方法

TFXは、さまざまなTFXコンポーネントで構成されるMLパイプラインを定義するための構成フレームワークを使用します。これらのパイプラインは、Apache AirflowやKubeflow Pipelinesなどのオーケストレーターで管理できます。一貫性とトレーサビリティを維持するために、TFXはMLメタデータ（MLMD）バックエンドと統合されており、各コンポーネントの実行、生成されたアーティファクト（入力と出力）、および使用された特定のランタイム設定を追跡します。

対象ユーザー

本番環境向けの機械学習システムを構築する必要があるMLエンジニアやデータサイエンティスト向けに設計されています。厳密な追跡、自動化、スケーラビリティが求められます。

主な特徴

• 本番スケールプラットフォーム: Googleが大規模なMLワークロードを処理するために構築。
• 柔軟なオーケストレーション: Apache AirflowおよびKubeflow Pipelinesとの統合をサポート。
• 拡張性のある設計: パイプラインコンポーネントとオーケストレーション統合の両方が拡張可能。
• メタデータ追跡: MLメタデータを使用して実験の追跡が可能で、過去の実行からのモデルのウォームスタートや再開が可能。