tensorflow/tfx

해결하는 문제

TFX는 대규모 생산 환경에서 기계학습 모델을 배포하고 관리하는 도전 과제를 해결합니다. 간단한 모델에서부터 완전히 자동화되고 신뢰할 수 있는 ML 파이프라인으로 전환할 수 있도록 구조화된 플랫폼을 제공합니다.

작동 방식

TFX는 다양한 TFX 컴포넌트로 구성된 ML 파이프라인을 정의하기 위한 구성 프레임워크를 사용합니다. 이러한 파이프라인은 Apache Airflow 또는 Kubeflow Pipelines와 같은 오케스트레이터로 관리할 수 있습니다. 일관성과 추적 가능성을 유지하기 위해 TFX는 ML 메타데이터(MLMD) 백엔드와 통합되어 각 컴포넌트 실행, 생성된 아티팩트(입력 및 출력), 그리고 사용된 특정 런타임 구성 정보를 추적합니다.

대상 사용자

엄격한 추적, 자동화, 확장성이 필요한 생산 수준의 기계학습 시스템을 구축해야 하는 ML 엔지니어 및 데이터 과학자에게 적합합니다.

주요 특징

• 생산 규모 플랫폼: 대규모 ML 워크로드를 처리하기 위해 Google이 구축.
• 유연한 오케스트레이션: Apache Airflow 및 Kubeflow Pipelines와의 통합을 지원.
• 확장 가능한 설계: 파이프라인 컴포넌트와 오케스트레이션 통합 모두 확장 가능.
• 메타데이터 추적: ML 메타데이터를 사용하여 실험 추적 및 이전 실행에서 모델을 워밍스타트하거나 재개할 수 있음.