tensorflow/cloud

何を解決するか

TensorFlow Cloud は、Keras および TensorFlow モデルのローカルでのデバッグや開発から、Google Cloud Platform (GCP) での分散トレーニングおよびスケーリングされたチューニングへの移行を簡素化します。クラウドインフラの手動設定、アプリケーションの Docker 化、分散戦略の構成といった手間を排除します。

仕組み

このプロジェクトは run API を提供し、デプロイパイプラインを自動化します。ユーザーが tfc.run() を呼び出すと、以下のステップが実行されます：

1. 準備: Keras スクリプトまたはノートブックを「クラウド対応」にします。
2. コンテナ化: コードと依存関係を Docker コンテナにパッケージ化します。ローカルの Docker デーモンまたは Google Cloud Build を使用します。
3. デプロイ: コンテナを Google AI Platform にデプロイして実行します。
4. モニタリング: ログストリーミングを処理し、ホストされた TensorBoard と統合して、モニタリングとチェックポイントの保存を行います。

ユーザーが指定したマシン構成に基づいて、自動的にモデルコードを TensorFlow の分散戦略（OneDeviceStrategy、MirroredStrategy、MultiWorkerMirroredStrategy、TPUStrategy など）でラップします。

対象ユーザー

TensorFlow と Keras を使用し、インフラや Docker 設定を手動で管理せずに、ローカルマシンやノートブックから GCP にトレーニングをスケーリングしたいデータサイエンティストや ML エンジニア。

特徴

• シームレスなスケーリング: 1つの API コールでローカルからクラウドトレーニングへ移行可能。
• 柔軟なエントリポイント: Python スクリプト、Jupyter ノートブック、またはトレーニングスクリプト内で run を直接呼び出すことが可能。
• 自動分散構成: 要求されたハードウェア（CPU、GPU、TPU）に基づいて、自動的に分散戦略を設定。
• 統合ツールキット: Google Cloud Build および Google AI Platform との組み込みサポート。