Cloud TPU での ResNet のトレーニング

目標: このチュートリアルでは、単一の Cloud TPU デバイスまたは Cloud TPU Pod スライス（複数の TPU デバイス）を使用して Tensorflow ResNet-50 モデルをトレーニングする方法を説明します。TensorFlow と ImageNet データセットを使用する、TPU 用に最適化されたその他の画像分類モデルにも、同じパターンを適用できます。

このチュートリアルのモデルは、残余ネットワーク（ResNet）アーキテクチャを最初に導入する画像認識のためのディープ残余ラーニングに基づいています。このチュートリアルでは、50 層のバリアントの ResNet-50 を使用して、TPUEstimator を使ったモデルのトレーニング方法を説明します。 ResNet-50 モデルは、Compute Engine VM にプリインストールされています。

警告: このチュートリアルでは、サードパーティのデータセットを使用します。Google は、このデータセットの有効性またはその他の側面について、いかなる表明、保証もいたしません。

目標

• データセットとモデルの出力を格納する Cloud Storage バケットを作成します。
• fake_imagenet データセットと呼ばれる ImageNet データセットのテスト版を準備します。
• トレーニング ジョブを実行します。
• 出力結果を確認します。

費用

このチュートリアルでは、Google Cloud の課金対象となる以下のコンポーネントを使用します。

• Compute Engine
• Cloud TPU
• Cloud Storage

料金計算ツールを使うと、予想使用量に基づいて費用の見積もりを出すことができます。新しい Google Cloud ユーザーは無料トライアルをご利用いただける場合があります。

始める前に

このチュートリアルを開始する前に、Google Cloud プロジェクトが正しく設定されていることを確認します。

1. Google アカウントにログインします。

   Google アカウントをまだお持ちでない場合は、新しいアカウントを登録します。

2. Cloud Console のプロジェクト セレクタページで、Cloud プロジェクトを選択または作成します。

   注: この手順で作成するリソースをそのまま保持する予定でない場合、既存のプロジェクトを選択するのではなく、新しいプロジェクトを作成してください。チュートリアルの終了後にそのプロジェクトを削除すれば、プロジェクトに関連するすべてのリソースを削除できます。

   プロジェクト セレクタのページに移動

3. Google Cloud プロジェクトに対して課金が有効になっていることを確認します。 プロジェクトに対して課金が有効になっていることを確認する方法を学習する。

このチュートリアルでは、Google Cloud の課金対象となるコンポーネントを使用します。費用を見積もるには、Cloud TPU の料金ページを確認してください。不要な課金を回避するために、このチュートリアルを完了したら、作成したリソースを必ずクリーンアップしてください。

リソースを設定する

このセクションでは、チュートリアルで使用する Cloud Storage、VM、Cloud TPU の各リソースを設定する方法を説明します。

重要: ネットワークのレイテンシを抑え費用を節減するために、すべてのリソースを同じリージョン / ゾーンに設定してください。

1. Cloud Shell ウィンドウを開きます。

   Cloud Shell を開く

2. プロジェクト ID の変数を作成します。

   export PROJECT_ID=project-id
   

3. Cloud TPU を作成するプロジェクトを使用するように gcloud コマンドライン ツールを構成します。

   gcloud config set project ${PROJECT_ID}
   

4. 次のコマンドを使用して Cloud Storage バケットを作成します。

   gsutil mb -p ${PROJECT_ID} -c standard -l europe-west4 -b on gs://bucket-name
   

   この Cloud Storage バケットには、モデルのトレーニングに使用するデータとトレーニング結果が格納されます。このチュートリアルで使用する ctpu up ツールは、Cloud TPU サービス アカウントのデフォルトの権限を設定します。権限の詳細な設定が必要な場合は、アクセスレベル権限をご覧ください。

   バケットのロケーションは、仮想マシン（VM）および TPU ノードと同じリージョンにする必要があります。VM と TPU ノードは、リージョン内のサブディビジョンである特定のゾーンに配置されます。

5. ctpu up コマンドを使用して、ここで必要となる Compute Engine リソースを起動します。

   ctpu up --zone=europe-west4-a \
   --vm-only \
   --disk-size-gb=300 \
   --machine-type=n1-standard-8 \
   --tf-version=1.15.3 \
   --name=resnet-tutorial

   注: 複数のプロジェクトが存在する場合は、プロジェクト名を指定する必要があります。

   CTPU ユーティリティの詳細については、CTPU リファレンスを参照してください。

6. プロンプトが表示されたら、y キーを押して Cloud TPU リソースを作成します。

   注: プロジェクトで初めて ctpu up を実行する場合、SSH 認証鍵の伝播や API の始動などの起動タスクの実行に約 5 分かかります。

ctpu up コマンドの実行が終了したら、shell プロンプトが username@project から username@vm-name に変更されたことを確認します。変更されていれば、Compute Engine VM にログインしていることになります。Compute Engine インスタンスに接続していない場合は、次のコマンドを実行して接続できます。

gcloud compute ssh resnet-tutorial --zone=europe-west4-a

これ以降、接頭辞 (vm)$ は Compute Engine VM インスタンスでコマンドを実行する必要があることを意味します。

ストレージ、モデル、データパスを構成する

次の環境変数を設定します。bucket-nameは Cloud Storage バケットの名前に置き換えます。

(vm)$ export STORAGE_BUCKET=gs://bucket-name

(vm)$ export MODEL_DIR=${STORAGE_BUCKET}/resnet
(vm)$ export DATA_DIR=gs://cloud-tpu-test-datasets/fake_imagenet
(vm)$ export PYTHONPATH="${PYTHONPATH}:/usr/share/tpu/models"

トレーニング アプリケーションでは、Cloud Storage でトレーニング データにアクセスできる必要があります。トレーニング アプリケーションは、Cloud Storage バケットを使用してトレーニング中にチェックポイントを保存します。

fake_imagenet を使用して ResNet モデルのトレーニングと評価を行う

ImageNet は画像データベースです。このデータベース内では画像が階層に編成されていて、階層の各ノードには数百、数千の画像が含まれています。

このチュートリアルでは、ImageNet の完全版のデータセットの fake_imagenet と呼ばれるデモバージョンを使用しています。このデモバージョンを使用すると、ストレージ容量と所要時間を ImageNet の完全版のデータセットに対してモデルを実行する際に通常必要となるものより抑えながらチュートリアルを試すことができます。

fake_imagenet データセットは Cloud Storage の次のロケーションにあります。

gs://cloud-tpu-test-datasets/fake_imagenet

fake_imagenet データセットは、Cloud TPU の使用方法を理解し、エンドツーエンドのパフォーマンスを検証する場合にのみ役立ちます。精度の数値と保存されたモデルは意味がありません。

ImageNet データセット全体をダウンロードして処理する方法については、ImageNet データセットのダウンロード、前処理、アップロードをご覧ください。

注: このチュートリアルでは、STORAGE_BUCKET 環境変数を fake_imagenet データセットのパスに設定しないでください。gs://cloud-tpu-test-datasets からの読み取りは可能ですが、書き込みはできません。そのため、このパスを使用してトレーニング ログを書き出すことはできません。STORAGE_BUCKET 環境変数が上記のように対象の Cloud Storage バケットに設定されていることを確認してください。

注: モデルの出力とパフォーマンスをモニタリングする場合は、TensorBoard のセットアップのガイドに従ってください。

1. ctpu ユーティリティを使用して Cloud TPU リソースを起動し、後で使用するいくつかの環境変数を設定します。

    (vm)$ ctpu up --tpu-only \
    --tf-version=1.15.3 \
    --name=resnet-tutorial
   

    (vm)$ export TPU_NAME=resnet-tutorial
    (vm)$ export ACCELERATOR_TYPE=v3-8
   

2. モデル ディレクトリに移動します。

   (vm)$ cd /usr/share/tpu/models/official/resnet/
   

3. トレーニング スクリプトを実行します。

   単一の Cloud TPU デバイスを対象としたスクリプトでは、ResNet-50 モデルを 90 エポックまでトレーニングし、一定のトレーニング ステップ数ごとに評価します。このように指定したフラグを使用すると、モデルのトレーニングが約 10 時間で行われます。

   トレーニングと評価は fake_imagenet データセットに対して行われているため、出力結果には、実際のデータセットでトレーニングと評価を行った場合の出力は反映されません。

   架空データでこのモデルをトレーニングするため、トレーニング スクリプトの実行にかかる時間を短縮することができます。resnet_main.py の --train_steps 引数を使用して、使用するトレーニング ステップの数を指定できます。たとえば、train_stepsを 1,000 に設定すると、モデルは約 30 分間トレーニングされます。

    (vm)$ python3 resnet_main.py \
       --tpu=${TPU_NAME} \
       --data_dir=${DATA_DIR} \
       --model_dir=${MODEL_DIR} \
       --config_file=configs/cloud/${ACCELERATOR_TYPE}.yaml
   

   パラメータ	説明
   tpu	Cloud TPU の名前を指定します。ctpu はこの名前を環境変数（TPU_NAME）として Compute Engine VM に渡します。
   data_dir	トレーニング入力用の Cloud Storage のパスを指定します。この例では、fake_imagenet データセットに設定されています。
   model_dir	モデルのトレーニング中にチェックポイントとサマリーが保存されるディレクトリを指定します。該当するフォルダがない場合は、プログラムによって作成されます。Cloud TPU を使用する場合、model_dir を Cloud Storage パスにする必要があります（`gs://...`）。以前のチェックポイントが、同じサイズの TPU と TensorFlow バージョンを使用して作成されていれば、既存のフォルダを再利用して現在のチェックポイント データを読み込んで追加のチェックポイントを保存できます。
   config_file	トレーニング中に使用する YAML 構成ファイルを指定します。このファイルの名前は使用される TPU のタイプに対応しています。例: v2-8.yaml

この時点で、このチュートリアルを終了して、GCP リソースをクリーンアップすることも、Cloud TPU Pod でのモデルの実行をさらに詳しく調べることもできます。

Cloud TPU Pod を使用してモデルをスケーリングする

Cloud TPU Pod を使用してモデルをスケーリングすると、より迅速に結果を得ることができます。完全にサポートされている ResNet-50 モデルは、次の Pod スライスに対応しています。

• v2-32
• v2-128
• v2-256
• v2-512
• v3-32
• v3-128
• v3-256
• v3-512
• v3-1024
• v3-2048

Cloud TPU Pod を使用する場合は、まず Pod を使用してモデルをトレーニングし、その後、単一の Cloud TPU デバイスを使用してモデルを評価します。

Cloud TPU Pod を使用してトレーニングする

注意: Compute Engine インスタンスをすでに削除している場合は、リソースのセットアップの手順に沿って新しいインスタンスを作成します。

1. 単一のデバイスでモデルをトレーニングするために作成した Cloud TPU リソースを削除します。

    (vm)$ ctpu delete --tpu-only --name=resnet-tutorial
   

2. 使用する Pod スライスを指定するための tpu-size パラメータを使用して、ctpu up コマンドを実行します。たとえば、次のコマンドは v2-32 Pod スライスを使用します。

     (vm)$ ctpu up --tpu-only --tpu-size=v2-32 --tf-version=1.15.3 --name=resnet-pod
   

3. TPU_NAME および ACCELERATOR_TYPE 環境変数を更新して、TPU Pod 名とアクセラレータ タイプを指定します。

     (vm)$ export TPU_NAME=resnet-pod
     (vm)$ export ACCELERATOR_TYPE=v2-32
   

4. MODEL_DIR ディレクトリを更新してトレーニング データを保存します。

     (vm)$ export MODEL_DIR=${STORAGE_BUCKET}/resnet-pod
   

5. モデルをトレーニングし、使用する Pod スライスに対応する構成ファイルを使用するように、config_file パラメータを更新します。たとえば、トレーニング スクリプトは、v2-32.yaml 構成ファイルを使用しています。

   このスクリプトは、fake_imagnet データセットに対してモデルを 35 エポックまでトレーニングします。このトレーニングは、v3-128 Cloud TPU 上で約 90 分かかります。

     (vm)$ python3 resnet_main.py \
       --tpu=${TPU_NAME} \
       --data_dir=${DATA_DIR} \
       --model_dir=${MODEL_DIR} \
       --config_file=configs/cloud/${ACCELERATOR_TYPE}.yaml
   

モデルの評価

このステップでは、Cloud TPU を使用して、fake_imagenet 検証データに対して上記でトレーニングしたモデルを評価します。

1. モデルをトレーニングするために作成した Cloud TPU リソースを削除します。

    (vm)$ ctpu delete --tpu-only --name=resnet-pod
   

2. v2-8 Cloud TPU を起動します。

    (vm)$ ctpu up --tpu-only \
      --tf-version=1.15.3 \
      --name=resnet-eval
   

3. TPU_NAME 環境変数を更新します。

    (vm)$ export TPU_NAME=resnet-eval
   

4. モデルの評価を実行します。今回は、mode フラグを指定し、eval に設定します。

    (vm)$ python3 resnet_main.py \
      --tpu=${TPU_NAME} \
      --data_dir=${DATA_DIR} \
      --model_dir=${MODEL_DIR} \
      --mode=eval
      --config_file=configs/cloud/${ACCELERATOR_TYPE}.yaml
   

これにより、次のような出力が生成されます。

Eval results: {'loss': 8.255788, 'top_1_accuracy': 0.0009969076, 'global_step': 0, 'top_5_accuracy': 0.005126953}. Elapsed seconds: 76

トレーニングと評価は fake_imagenet データセットに対して行われているため、出力結果には、実際のデータセットでトレーニングと評価を行った場合の出力は反映されません。

クリーンアップ

このチュートリアルで使用したリソースについて、Google Cloud Platform アカウントに課金されないようにする手順は次のとおりです。

1. Compute Engine インスタンスとの接続を切断していない場合は切断します。

   (vm)$ exit
   

   プロンプトが username@project に変わります。これは、現在、Cloud Shell 内にいることを示しています。

2. Cloud Shell で、Cloud TPU の設定時に使用した --zone フラグを指定して ctpu delete を実行し、Compute Engine VM と Cloud TPU を削除します。

   $ ctpu delete --zone=europe-west4-a
   

   重要: ctpu up の実行時に TPU のリソース名を設定した場合は、ctpu delete を実行して TPU リソースをシャットダウンする際に、--name フラグを使用してリソース名を指定する必要があります。

3. TPU の使用に対して不要な料金が発生しないように、ctpu status を実行してインスタンスが割り当てられていないことを確認します。削除には数分かかることがあります。次のようなレスポンスは、割り当てられたインスタンスがないことを示します。

   2018/04/28 16:16:23 WARNING: Setting zone to "europe-west4-a"
   No instances currently exist.
           Compute Engine VM:     --
           Cloud TPU:             --
   

4. 次に示すように gsutil を実行します。bucket-name の部分は、このチュートリアルで作成した Cloud Storage バケット名に置き換えてください。

   $ gsutil rm -r gs://bucket-name
   

注: 無料の保存容量の上限や料金に関するその他の詳細については、Cloud Storage の料金ガイドをご覧ください。

次のステップ

• ローカルマシンへのインストール方法など、ctpu の詳細を学習します。
• TensorBoard の TPU ツールを確認します。
• Cloud TPU と GKE を使用して ResNet をトレーニングする方法を確認します。
• RetinaNet オブジェクト検出モデルのチュートリアルを実施します。
• 上記の手順を出発点として使用して、Cloud TPU で TensorFlow SqueezeNet モデルを実行します。SqueezeNet と ResNet-50 のモデル アーキテクチャは類似しています。同じデータとコマンドライン フラグを使用して、モデルをトレーニングできます。