Cloud TPU での EfficientNet のトレーニング

EfficientNet モデルは、優れた精度を実現すると同時に、他のモデルよりもサイズが小さく高速な、最先端の画像分類モデルファミリーです。EfficientNet-EdgeTpu は、Google EdgeTPU デバイスで効率的に実行されるようにカスタマイズされたモデルです。

このチュートリアルで使用するモデルは、EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks に基づいています。研究者は、モデルのパフォーマンスを改善する新しい手法として、シンプルで非常に効果的な複合係数を使用して、ネットワークの深さ、幅、解像度のバランスを慎重に調整する手法を開発しました。efficientnet-b0 から efficientnet-b7 までの EfficientNet のモデルファミリーにより、さまざまな計算予算に応じた妥当な画像分類精度を実現できます。このチュートリアルで使用するモデル efficientnet-b0 は、最小のベースモデルに対応していますが、efficientnet-b7 は最も強力で計算コストの高いモデルに対応しています。このチュートリアルでは、TPUEstimator を使ったモデルのトレーニング方法を説明します。

目標

データセットとモデルの出力を格納する Cloud Storage バケットを作成します。
fake_imagenet データセットと呼ばれる ImageNet データセットのテスト版を準備します。
トレーニングジョブを実行します。
出力結果を確認します。

料金

このチュートリアルでは、Google Cloud Platform の課金対象となる以下のコンポーネントを使用します。

Compute Engine
Cloud TPU
Cloud Storage

料金計算ツールを使うと、予想使用量に基づいて費用の見積もりを出すことができます。初めて GCP を使用される場合は、無料トライアルをご利用いただけます。

始める前に

このチュートリアルを開始する前に、Google Cloud Platform プロジェクトが正しく設定されていることを確認してください。

Google アカウントにログインします。
Google アカウントをまだお持ちでない場合は、新しいアカウントを登録します。
GCP Console のプロジェクトセレクタのページで、GCP プロジェクトを選択または作成します。

注: この手順で作成するリソースをそのまま保持する予定でない場合、既存のプロジェクトを選択するのではなく、プロジェクトを作成してください。チュートリアルの完了後にそのプロジェクトを削除すれば、プロジェクトに関連するすべてのリソースを削除できます。

プロジェクトセレクタのページに移動
Google Cloud Platform プロジェクトに対して課金が有効になっていることを確認します。プロジェクトに対して課金が有効になっていることを確認する方法を学習する。

このチュートリアルでは、Google Cloud Platform の課金対象となるコンポーネントを使用します。費用を見積もるには、Cloud TPU の料金ページを確認してください。不要な課金を回避するために、このチュートリアルを完了したら、作成したリソースを必ずクリーンアップしてください。

リソースを設定する

このセクションでは、チュートリアルで使用する Cloud Storage のストレージ、VM、Cloud TPU の各リソースを設定する方法を説明します。

Cloud Shell ウィンドウを開きます。

Cloud Shell を開く
プロジェクト名の変数を作成します。
```
export PROJECT_NAME=project_name
```
Cloud TPU を作成するプロジェクトを使用するように gcloud コマンドラインツールを構成します。
```
gcloud config set project ${PROJECT_NAME}
```
次のコマンドを使用して Cloud Storage バケットを作成します。
```
gsutil mb -p ${PROJECT_NAME} -c standard -l europe-west4 -b on gs://bucket-name/
```
この Cloud Storage バケットには、モデルのトレーニングに使用するデータとトレーニング結果が格納されます。このチュートリアルで使用する ctpu up ツールは、Cloud TPU サービスアカウントのデフォルトの権限を設定します。権限の詳細な設定が必要な場合は、アクセスレベル権限をご覧ください。

バケットのロケーションとしては、仮想マシン（VM）および TPU ノードと同じリージョン内のロケーションを指定する必要があります。VM と TPU ノードは、リージョン内のサブディビジョンである特定のゾーンにあります。
ctpu up コマンドを使用して、このために必要な Compute Engine リソースと Cloud TPU リソースを起動します。
```
ctpu up --zone=europe-west4-a \
  --vm-only \
  --disk-size-gb=300 \
  --machine-type=n1-standard-8 \
  --tf-version=1.14 \
  --name=efficientnet-tutorial
```
注: 複数のプロジェクトが存在する場合は、プロジェクト名の指定が必要です。

CTPU ユーティリティの詳細については、CTPU リファレンスを参照してください。
プロンプトが表示されたら、y キーを押して Cloud TPU リソースを作成します。

注: プロジェクトで初めて ctpu up を実行する場合、SSH 認証鍵の伝播や API の開始などの起動タスクの実行に約 5 分かかります。

ctpu up コマンドの実行が終了したら、shell プロンプトが username@project から username@tpuname に変更されたことを確認します。変更されていれば、Compute Engine VM にログインしていることになります。Compute Engine インスタンスに接続していない場合は、次のコマンドを実行して接続できます。

gcloud compute ssh efficientnet-tutorial --zone=europe-west4-a

これ以降、接頭辞 (vm)$ は Compute Engine VM インスタンスでコマンドを実行する必要があることを意味します。

データを準備する

次の環境変数を作成します。bucket-name の部分は、Cloud Storage バケットの名前に置き換えてください。

(vm)$ export STORAGE_BUCKET=gs://bucket-name
(vm)$ export MODEL_BUCKET=${STORAGE_BUCKET}/efficientnet

トレーニングアプリケーションは、Cloud Storage のトレーニングデータにアクセスできることが想定されています。また、トレーニングアプリケーションでは、Cloud Storage バケットを使用してトレーニング中にチェックポイントを保存します。

fake_imagenet を使用した EfficientNet モデルのトレーニングと評価

ImageNet は画像データベースです。このデータベース内では画像が階層に編成されていて、階層の各ノードを数百、数千もの画像で表しています。

このチュートリアルでは、ImageNet の完全なデータセットの fake_imagenet と呼ばれるデモバージョンを使用しています。このデモバージョンを使用すると、完全な ImageNet データベースに対してモデルを実行する際に一般的に伴うストレージと時間の所要量を少なくして、チュートリアルを試すことができます。

fake_imagenet データセットは Cloud Storage の次の場所にあります。

gs://cloud-tpu-test-datasets/fake_imagenet

fake_imagenet データセットは、Cloud TPU の使用方法を理解し、エンドツーエンドのパフォーマンスを検証する場合にのみ役立ちます。精度の数値と保存されたモデルには意味はありません。

ImageNet データセット全体をダウンロードして処理する方法については、ImageNet データセットのダウンロード、前処理、アップロードをご覧ください。

ctpu ユーティリティを使用して Cloud TPU リソースを起動します。
```
(vm)$ ctpu up --tpu-only --name=efficientnet-tutorial
```
次のコマンドを使用して、Python パスに最上位の /models フォルダを追加します。
```
(vm)$ export PYTHONPATH="$PYTHONPATH:/usr/share/tpu/models"
```

ディレクトリに移動します。

(vm)$ cd /usr/share/tpu/models/official/efficientnet/

トレーニングスクリプトを実行します。

(vm)$ python main.py \
  --tpu=efficientnet-tutorial \
  --data_dir=gs://cloud-tpu-test-datasets/fake_imagenet \
  --model_dir=${STORAGE_BUCKET}/efficientnet \
  --model_name='efficientnet-b0' \
  --skip_host_call=true \
  --train_batch_size=2048 \
  --train_steps=218948

パラメータ	説明
`tpu`	Cloud TPU の名前を指定します。`ctpu` はこの名前を環境変数（`TPU_NAME`）として Compute Engine VM に渡します。
`data_dir`	トレーニング入力用の Cloud Storage のパスを指定します。この例では、fake_imagenet データセットに設定されています。
`model_dir`	モデルのトレーニング中にチェックポイントとサマリーが保存されるディレクトリを指定します。該当するフォルダがない場合は、プログラムによって作成されます。Cloud TPU を使用する場合、`model_dir` は Cloud Storage パスにする必要があります（「gs://...」）。以前のチェックポイントが、同じサイズの TPU と TensorFlow バージョンを使用して作成されていれば、既存のフォルダを再利用して現在のチェックポイントデータを読み込んで追加のチェックポイントを保存できます。

この手順では、EfficientNet モデル（efficientnet-b0 バリアント）を 350 エポックまでトレーニングし、一定のステップ数ごとに評価します。このように指定したフラグを使用すると、モデルのトレーニングが約 23 時間で行われます。実際の ImageNet データを使用する場合、この設定により、ImageNet の検証データセットに対する最大 76.5% のトップ 1 の精度を取得できるはずです。最も有効なモデルチェックポイントとその評価結果は、モデルディレクトリ ${STORAGE_BUCKET}/efficientnet/archive の archive フォルダにあります。

Cloud TPU Pod を使用したモデルのスケーリング

Cloud TPU Pod を使用してモデルをスケーリングすると、より迅速に結果を得ることができます。完全にサポートされているモデルは、次の Pod スライスを使用できます。

v2-32
v3-32

Cloud TPU Pod を使用する場合は、まず Pod を使用してモデルをトレーニングし、その後、単一の Cloud TPU デバイスを使用してモデルを評価します。

Cloud TPU Pod を使用したトレーニング

単一のデバイスでモデルをトレーニングするために作成した Cloud TPU リソースを削除します。
```
(vm)$ ctpu delete --tpu-only --name=efficientnet-tutorial
```
使用する Pod スライスを指定するための tpu-size パラメータを使用して、ctpu up コマンドを実行します。たとえば、次のコマンドは v2-32 Pod スライスを使用します。
```
(vm)$ ctpu up --tpu-only --tpu-size=v2-32 --name=efficientnet-pod
```
MODEL_BUCKET ディレクトリを更新してトレーニングデータを保存します。
```
(vm)$  export MODEL_BUCKET=${STORAGE_BUCKET}/efficientnet-pod
```

モデルをトレーニングし、使用する Pod スライスに対応する構成ファイルを使用するように、config_file パラメータを更新します。たとえば、次のスクリプトは、v2-32.yaml 構成ファイルを使用しています。

(vm)$ python main.py \
  --tpu=efficientnet-pod \
  --data_dir=gs://cloud-tpu-test-datasets/fake_imagenet \
  --model_dir=${STORAGE_BUCKET}/efficientnet \
  --model_name='efficientnet-b3' \
  --skip_host_call=true \
  --mode=train \
  --train_steps=109474 \
  --train_batch_size=4096 \
  --iterations_per_loop=100

パラメータ	説明
`tpu`	Cloud TPU の名前を指定します。`ctpu` はこの名前を環境変数（`TPU_NAME`）として Compute Engine VM に渡します。
`data_dir`	トレーニング入力用の Cloud Storage のパスを指定します。この例では、fake_imagenet データセットに設定されています。
`model_dir`	モデルのトレーニング中にチェックポイントとサマリーが保存されるディレクトリを指定します。該当するフォルダがない場合は、プログラムによって作成されます。Cloud TPU を使用する場合、`model_dir` は Cloud Storage パスにする必要があります（`gs://...`）。以前のチェックポイントが、同じサイズの TPU と TensorFlow バージョンを使用して作成されていれば、既存のフォルダを再利用して現在のチェックポイントデータを読み込んで追加のチェックポイントを保存できます。

この手順では、EfficientNet モデル（efficientnet-b3 バリアント）を 350 エポックまでトレーニングします。このモデルは ImageNet データセットに対して 81.1% の精度を達成し、トレーニングは約 20 時間で完了します。最も有効なモデルチェックポイントとその評価結果は、モデルディレクトリ ${STORAGE_BUCKET}/efficientnet/archive の archive フォルダにあります。

モデルの評価

このステップでは、Cloud TPU を使用して、fake_imagenet 検証データに対して上記でトレーニングしたモデルを評価します。

モデルをトレーニングするために作成した Cloud TPU リソースを削除します。
```
(vm)$ ctpu delete --tpu-only --name=efficientnet-pod
```

v2-8 Cloud TPU を起動します。

(vm)$  ctpu up --tpu-only --name=efficientnet-pod-eval

モデルの評価を実行します。今回は、mode フラグを指定し、eval に設定します。

(vm)$  python main.py \
   --tpu=efficientnet-pod-eval \
   --data_dir=gs://cloud-tpu-test-datasets/fake_imagenet \
   --model_dir=${STORAGE_BUCKET}/efficientnet \
   --model_name='efficientnet-b3' \
   --skip_host_call=true \
   --mode=eval

これにより、次のような出力が生成されます。

Eval results: {'loss': 7.532023, 'top_1_accuracy': 0.0010172526, 'global_step': 100, 'top_5_accuracy': 0.005065918}. Elapsed seconds: 88

クリーンアップ

このチュートリアルで使用したリソースについて、Google Cloud Platform アカウントに課金されないようにする手順は次のとおりです。

Compute Engine インスタンスとの接続を切断していない場合は切断します。
```
(vm)$ exit
```
プロンプトが user@projectname に変わります。これは、現在、Cloud Shell 内にいることを示しています。
Cloud Shell で、Cloud TPU の設定時に使用した --zone フラグを指定して ctpu delete を実行し、Compute Engine VM と Cloud TPU を削除します。
```
$ ctpu delete --name=efficientnet-tutorial --zone=europe-west4-a && \
ctpu delete --name=efficientnet-tutorial-pod --zone=europe-west4-a && \
ctpu delete --name=efficientnet-tutorial-pod-eval --zone=europe-west4-a
```
重要: ctpu up を実行したときに TPU のリソース名を設定した場合は、ctpu delete を実行して TPU リソースをシャットダウンする際に、--name フラグを使用してリソース名を指定する必要があります。
TPU の使用に対して不要な料金が発生しないように、インスタンスが割り当てられていないことを確認します。
```
ctpu status --zone=europe-west4-a
```
リソースの削除には数分かかることがあります。次のようなレスポンスは、割り当てられたインスタンスがないことを示します。
```
2018/04/28 16:16:23 WARNING: Setting zone to "europe-west4-a"
No instances currently exist.
        Compute Engine VM:     --
        Cloud TPU:             --
```
次に示すように gsutil を実行します。YOUR-BUCKET-NAME の部分は、このチュートリアルで作成した Cloud Storage バケット名に置き換えてください。
```
$ gsutil rm -r gs://bucket-name
```

次のステップ

ローカルマシンへのインストール方法など、ctpu の詳細を学習します。
TensorBoard の TPU ツールを確認します。