tensorflow/tfx

解決的問題

TFX 解決了在生產規模上部署與管理機器學習模型的挑戰。它提供一個結構化的平台，協助從簡單模型過渡到完全自動化、可靠的 ML 流水線。

工作原理

TFX 使用設定框架來定義由各種 TFX 組件組成的 ML 流水線。這些流水線可由 Apache Airflow 或 Kubeflow Pipelines 等編排器進行管理。為維持一致性和可追蹤性，TFX 整合了 ML Metadata (MLMD) 後端，用以追蹤每個組件的執行、產生的工件（輸入與輸出）以及使用的特定執行時設定。

適用對象

專為需要建構生產級機器學習系統、要求嚴格追蹤、自動化與可擴展性的 ML 工程師與資料科學家設計。

主要亮點

• 生產規模平台：由 Google 建構，用於處理大規模 ML 工作負載。
• 彈性編排：支援與 Apache Airflow 和 Kubeflow Pipelines 集成。
• 可擴展設計：管道組件與編排整合皆可擴展。
• 元資料追蹤：使用 ML Metadata 實現實驗追蹤，並支援從先前執行中熱啟動或恢復模型。