tensorflow/cloud

해결하는 문제

TensorFlow Cloud는 Keras 및 TensorFlow 모델의 로컬 디버깅 및 개발에서 Google Cloud Platform (GCP)에서 분산 트레이닝 및 대규모 튜닝으로의 전환을 간소화합니다. 클라우드 인프라 설정, 애플리케이션 도커화, 분산 전략 설정과 같은 수작업을 제거합니다.

작동 방식

이 프로젝트는 run API를 제공하여 배포 파이프라인을 자동화합니다. 사용자가 tfc.run()을 호출하면 다음 단계를 수행합니다:

1. 준비: Keras 스크립트 또는 노트북을 "클라우드 준비 상태"로 만듭니다.
2. 컨테이너화: 코드와 종속성을 Docker 컨테이너로 패키징합니다. 로컬 Docker 데몬 또는 Google Cloud Build를 사용합니다.
3. 배포: 컨테이너를 Google AI Platform에 배포하여 실행합니다.
4. 모니터링: 로그 스트리밍을 처리하고 호스팅된 TensorBoard와 통합하여 모니터링 및 체크포인트 저장을 지원합니다.

사용자가 제공한 머신 구성에 따라 자동으로 모델 코드를 TensorFlow 분산 전략(OneDeviceStrategy, MirroredStrategy, MultiWorkerMirroredStrategy, TPUStrategy 등)으로 감쌉니다.

대상 사용자

TensorFlow와 Keras를 사용하며, 인프라나 Docker 설정을 수동으로 관리하지 않고도 로컬 머신이나 노트북에서 GCP로 트레이닝을 확장하고 싶은 데이터 사이언티스트 및 ML 엔지니어.

주요 기능

• 시ーム리스한 확장성: 단일 API 호출로 로컬에서 클라우드 트레이닝으로 이동 가능.
• 유연한 진입점: Python 스크립트, Jupyter 노트북, 또는 트레이닝 스크립트 내에서 run을 직접 호출할 수 있음.
• 자동 분산 구성: 요청한 하드웨어(CPU, GPU, TPU)에 따라 자동으로 분산 전략을 설정.
• 통합 도구 지원: Google Cloud Build 및 Google AI Platform과의 내장 지원.