このチュートリアルでは、単一の Cloud TPU デバイスまたは Cloud TPU Pod スライス（複数の TPU デバイス）を使用して Tensorflow MnasNet モデルをトレーニングする方法を説明します。TensorFlow と ImageNet データセットを使用する、他の TPU 対応イメージ分類モデルにも、同じパターンを適用できます。
モデルの説明
このチュートリアルで使用するモデルは、MnasNet: Platform-Aware Neural Architecture Search for Mobile をベースとしています。これは、AutoML モバイル ニューラル ネットワーク（MnasNet）アーキテクチャを導入した初めてのモデルです。このチュートリアルでは、最先端のバリアント「mnasnet-a1」を使用して、TPUEstimator を使ったモデルのトレーニング方法を説明します。
Pod スライス（v2-32 または v3-32 以上）のトレーニングにあたり特に留意すべき事項
TPU Pod スライスのトレーニングを行う場合は、このドキュメントをお読みいただき、Pod スライスのトレーニングについて特に留意すべき事項をご確認ください。
目標
- データセットとモデルの出力を格納する Cloud Storage バケットを作成します。
- トレーニング ジョブを実行します。
- 出力結果を確認します。
費用
このチュートリアルでは、Google Cloud の課金対象となる以下のコンポーネントを使用します。
- Compute Engine
- Cloud TPU
- Cloud Storage
料金計算ツールを使うと、予想使用量に基づいて費用の見積もりを出すことができます。
新しい Google Cloud ユーザーは無料トライアルをご利用いただける場合があります。
始める前に
このチュートリアルを開始する前に、Google Cloud プロジェクトが正しく設定されていることを確認します。
- Google Cloud アカウントにログインします。Google Cloud を初めて使用する場合は、アカウントを作成して、実際のシナリオでの Google プロダクトのパフォーマンスを評価してください。新規のお客様には、ワークロードの実行、テスト、デプロイができる無料クレジット $300 分を差し上げます。
-
Google Cloud Console の [プロジェクト セレクタ] ページで、Google Cloud プロジェクトを選択または作成します。
-
Cloud プロジェクトに対して課金が有効になっていることを確認します。プロジェクトに対して課金が有効になっていることを確認する方法を学習する。
このチュートリアルでは、Google Cloud の課金対象となるコンポーネントを使用します。費用を見積もるには、Cloud TPU の料金ページを確認してください。不要な課金を回避するために、このチュートリアルを完了したら、作成したリソースを必ずクリーンアップしてください。
リソースを設定する
このセクションでは、チュートリアルで使用する Cloud Storage、VM、Cloud TPU の各リソースを設定する方法を説明します。
Cloud Shell ウィンドウを開きます。
プロジェクト ID の変数を作成します。
export PROJECT_ID=project-id
Cloud TPU を作成するプロジェクトを使用するように
gcloudコマンドライン ツールを構成します。gcloud config set project ${PROJECT_ID}このコマンドを新しい Cloud Shell VM で初めて実行すると、
Authorize Cloud Shellページが表示されます。ページの下部にある [Authorize] をクリックして、gcloudに認証情報を使用した GCP API の呼び出しを許可します。Cloud TPU プロジェクトのサービス アカウントを作成します。
gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID
このコマンドでは、Cloud TPU サービス アカウントを次の形式で返します。
service-PROJECT_NUMBER@cloud-tpu.iam.gserviceaccount.com
次のコマンドを使用して Cloud Storage バケットを作成します。bucket-name をバケットの名前に置き換えます。
gsutil mb -p ${PROJECT_ID} -c standard -l europe-west4 -b on gs://bucket-nameこの Cloud Storage バケットには、モデルのトレーニングに使用するデータとトレーニング結果が格納されます。このチュートリアルで使用する
gcloud compute tpus execution-groupsツールは、Cloud TPU サービス アカウントのデフォルトの権限を設定します。権限の詳細な設定が必要な場合は、アクセスレベル権限をご覧ください。バケットのロケーションは、仮想マシン（VM）および TPU ノードと同じリージョンにする必要があります。VM と TPU ノードは、リージョン内のサブディビジョンである特定のゾーンに配置されます。
gcloud compute tpus execution-groupsコマンドを使用して、このチュートリアルで必要となる Compute Engine リソースと Cloud TPU リソースを起動します。gcloud compute tpus execution-groups create \ --vm-only \ --name=mnasnet-tutorial \ --zone=europe-west4-a \ --disk-size=300 \ --machine-type=n1-standard-8 \ --tf-version=1.15.5
コマンドフラグの説明
gcloudコマンドの詳細については、gcloud リファレンスをご覧ください。プロンプトが表示されたら、y キーを押して Cloud TPU リソースを作成します。
gcloud compute tpus execution-groupsコマンドの実行が終了したら、shell プロンプトがusername@projectnameからusername@vm-nameに変更されたことを確認します。変更されていれば、Compute Engine VM にログインしていることになります。Compute Engine インスタンスに接続していない場合は、次のコマンドを実行して接続できます。gcloud compute ssh mnasnet-tutorial --zone=europe-west4-a
これ以降、接頭辞
(vm)$は Compute Engine VM インスタンスでコマンドを実行する必要があることを意味します。ストレージ バケットの環境変数を作成します。bucket-name は、使用する Cloud Storage バケットの名前に置き換えます。
(vm)$ export STORAGE_BUCKET=gs://bucket-nameモデル ディレクトリの環境変数を作成します。
(vm)$ export MODEL_DIR=${STORAGE_BUCKET}/mnasnet次のコマンドを使用して、Python パスに最上位の
/modelsフォルダを追加します。(vm)$ export PYTHONPATH=${PYTHONPATH}:/usr/share/tpu/models:/usr/share/tpu/models/official/efficientnet
データを見つける
ImageNet は画像データベースです。このデータベース内では画像が階層に編成されていて、階層の各ノードには数百、数千の画像が含まれています。
このチュートリアルでは、ImageNet の完全版のデータセットの fake_imagenet と呼ばれるデモバージョンを使用しています。このデモバージョンを使用すると、ストレージ容量と所要時間を ImageNet の完全版のデータセットに対してモデルを実行する際に通常必要となるものより抑えながらチュートリアルを試すことができます。
fake_imagenet データセットは Cloud Storage の次のロケーションにあります。
gs://cloud-tpu-test-datasets/fake_imagenet
データ ディレクトリの環境変数を作成します。
(vm)$ export DATA_DIR=gs://cloud-tpu-test-datasets/fake_imagenet
fake_imagenet データセットは、Cloud TPU の使用方法を理解し、エンドツーエンドのパフォーマンスを検証する場合にのみ役立ちます。精度の数値と保存されたモデルは意味がありません。
ImageNet データセット全体をダウンロードして処理する方法については、ImageNet データセットのダウンロード、前処理、アップロードをご覧ください。
fake_imagenet を使用して MnasNet モデルをトレーニングする
Mnasnet TPU モデルは、Compute Engine VM の次のディレクトリにプリインストールされています。
/usr/share/tpu/models/official/mnasnet/
次のコマンドを実行して Cloud TPU を作成します。
(vm)$ gcloud compute tpus execution-groups create \ --tpu-only \ --accelerator-type=v3-8 \ --name=mnasnet-tutorial \ --zone=europe-west4-a \ --tf-version=1.15.5Cloud TPU 名の環境変数を作成します。
(vm)$ export TPU_NAME=mnasnet-tutorialモデル ディレクトリに移動します。
(vm)$ cd /usr/share/tpu/models/official/mnasnet/トレーニング スクリプトを実行します。
(vm)$ python3 mnasnet_main.py \ --tpu=${TPU_NAME} \ --data_dir=${DATA_DIR} \ --model_dir=${MODEL_DIR} \ --model_name="mnasnet-a1" \ --skip_host_call=true \ --train_steps=109474 \ --train_batch_size=4096コマンドフラグの説明
tpu- トレーニングまたは評価を実行するための Cloud TPU の名前。
data_dir- トレーニング入力用の Cloud Storage のパスを指定します。この例では、fake_imagenet データセットに設定されています。
model_dir- モデルのトレーニングの際にチェックポイントとサマリーが保存される Cloud Storage パス。以前のチェックポイントが、同じサイズの Cloud TPU と TensorFlow バージョンを使用して作成されていれば、既存のフォルダを再利用して以前に生成されたチェックポイントを読み込み、追加のチェックポイントを保存できます。
model_name- トレーニングするモデルの名前。例:
mnasnet-a1 skip_host_calltrueに設定すると、各トレーニング ステップで実行されるhost_callがスクリプトでスキップされます。これは通常、トレーニングの概要（トレーニング損失、学習率など）を生成するために使用されます。skip_host_call=falseの場合、host_call関数が低速で TPU 側の計算に追いつけないと、パフォーマンスが低下する可能性があります。train_steps- トレーニングに使用するステップの数。 デフォルト値は 218,949 です。これは、バッチサイズが 2048 で約 350 エポックになります。このフラグは、
train_batch_sizeの値に応じて調整する必要があります。 train_batch_size- トレーニングのバッチサイズ。
単一の TPU デバイスを対象とした手順では、MnasNet モデル（「mnasnet-a1」バリアント）を 350 エポックまでトレーニングし、一定のステップ数ごとに評価します。このように指定したフラグを使用すると、モデルのトレーニングが約 23 時間で行われます。この設定で実際の imagenet データを使用すると最先端の調査結果が再現されますが、ユーザーはトレーニング速度を調整できます。
Cloud TPU Pod を使用したモデルのスケーリング
Cloud TPU Pod を使用してモデルをスケーリングすると、より迅速に結果を得ることができます。完全サポートの Mnasnet モデルは、次の Pod スライスを使用できます。
- v2-32
- v2-128
- v2-256
- v2-512
- v3-32
- v3-128
- v3-256
- v3-512
- v3-1024
- v3-2048
Cloud TPU Pod を使用する場合は、まず Pod を使用してモデルをトレーニングし、その後、単一の Cloud TPU デバイスを使用してモデルを評価します。
Cloud TPU Pod を使用したトレーニング
単一のデバイスでモデルをトレーニングするために作成した Cloud TPU リソースを削除します。
(vm)$ gcloud compute tpus execution-groups delete mnasnet-tutorial \ --tpu-only \ --zone=europe-west4-a新しい Cloud TPU Pod を作成します。
(vm)$ gcloud compute tpus execution-groups create --tpu-only \ --accelerator-type=v2-32 \ --zone=europe-west4-a \ --name=mnasnet-tutorial \ --tf-version=1.15.5TPU_NAME環境変数を更新します。(vm)$ export TPU_NAME=Cloud TPUMODEL_DIRディレクトリを更新してトレーニング データを保存します。(vm)$ export MODEL_DIR=${STORAGE_BUCKET}/mnasnet-tutorial次のスクリプトを実行してモデルをトレーニングします。
このスクリプトは、fake_imagnet データセットに対してモデルを 35 エポックまでトレーニングします。このトレーニングは、v3-128 Cloud TPU 上で約 90 分かかります。
(vm)$ python3 mnasnet_main.py \ --tpu=${TPU_NAME} \ --data_dir=${DATA_DIR} \ --model_dir=${MODEL_DIR} \ --model_name="mnasnet-a1" \ --skip_host_call=true \ --train_steps=109474 \ --train_batch_size=4096コマンドフラグの説明
tpu- Cloud TPU の名前。
data_dir- トレーニング入力用の Cloud Storage のパスを指定します。この例では、fake_imagenet データセットに設定されています。
model_dir- モデルのトレーニングの際にチェックポイントとサマリーが保存される Cloud Storage パス。以前のチェックポイントが、同じサイズの Cloud TPU と TensorFlow バージョンを使用して作成されていれば、既存のフォルダを再利用して以前に生成されたチェックポイントを読み込み、追加のチェックポイントを保存できます。
model_name- トレーニングするモデルの名前。例:
efficientnet。 skip_host_calltrueに設定すると、各トレーニング ステップで実行されるhost_callがスクリプトでスキップされます。これは通常、トレーニングの概要（トレーニング損失、学習率など）を生成するために使用されます。skip_host_call=falseの場合、host_call関数が低速で TPU 側の計算に追いつけないと、パフォーマンスが低下する可能性があります。train_steps- トレーニングに使用するステップの数。 デフォルト値は 218,949 です。これは、バッチサイズが 2048 で約 350 エポックになります。このフラグは、
train_batch_sizeフラグの値に応じて調整する必要があります。 train_batch_size- トレーニングのバッチサイズ。
この手順では、MnasNet モデル（「mnasnet-a1」バリアント）を fake_imagent データセットに対して 350 エポックまでトレーニングします。このトレーニングは約 5 時間で完了します。
モデルの評価
この手順では、Cloud TPU を使用して、fake_imagenet 検証データに対して上記でトレーニングしたモデルを評価します。
Pod でモデルをトレーニングするために作成した Cloud TPU リソースを削除します。
(vm)$ gcloud compute tpus execution-groups delete mnasnet-tutorial \ --tpu-only \ --zone=europe-west4-av2-8 Cloud TPU を起動します。 Compute Engine VM に使用したものと同じ名前を使用します。これはまだ実行されています。
(vm)$ gcloud compute tpus execution-groups create --tpu-only \ --accelerator-type=v3-8 \ --zone=europe-west4-a \ --name=mnasnet-tutorial \ --tf-version=1.15.5アクセラレータ タイプの環境変数を作成します。
(vm)$ export ACCELERATOR_TYPE=v3-8モデルの評価を実行します。今回は、
modeフラグを指定し、evalに設定します。(vm)$ python3 mnasnet_main.py \ --tpu=${TPU_NAME} \ --data_dir=${DATA_DIR} \ --model_dir=${MODEL_DIR} \ --mode=eval \ --config_file=configs/cloud/${ACCELERATOR_TYPE}.yamlコマンドフラグの説明
tpu- Cloud TPU の名前。
data_dir- トレーニング入力用の Cloud Storage のパスを指定します。この例では、fake_imagenet データセットに設定されています。
model_dir- モデルのトレーニングの際にチェックポイントとサマリーが保存される Cloud Storage パス。以前のチェックポイントが、同じサイズの Cloud TPU と TensorFlow バージョンを使用して作成されていれば、既存のフォルダを再利用して以前に生成されたチェックポイントを読み込み、追加のチェックポイントを保存できます。
modetrain_and_eval、train、evalのいずれか。train_and_evalは、モデルのトレーニングと評価を行います。trainは、モデルをトレーニングします。evalはモデルを評価します。config_file- トレーニング / 評価スクリプトで使用される構成ファイル。
これにより、次のような出力が生成されます。
Eval results: { 'loss': 7.532023, 'top_1_accuracy': 0.0010172526, 'global_step': 100, 'top_5_accuracy': 0.005065918 } Elapsed seconds: 88
クリーンアップ
このトピックで使用したリソースについて GCP アカウントに課金されないようにする手順は次のとおりです。
Compute Engine VM との接続を解除します。
(vm)$ exitプロンプトが
user@projectnameに変わります。これは、現在、Cloud Shell 内にいることを示しています。Cloud TPU リソースと Compute Engine リソースを削除します。
$ gcloud compute tpus execution-groups delete mnasnet-tutorial \ --zone=europe-west4-agcloud compute tpus execution-groups listを実行して、リソースが削除されていることを確認します。削除には数分かかることがあります。次のようなレスポンスは、インスタンスが正常に削除されたことを示します。$ gcloud compute tpus execution-groups list \ --zone=europe-west4-aNAME STATUS
以下に示すように、
gsutilを使用して Cloud Storage バケットを削除します。bucket-name を Cloud Storage バケットの名前に置き換えます。$ gsutil rm -r gs://bucket-name
次のステップ
このチュートリアルでは、サンプル データセットを使用して MNASNET モデルをトレーニングしました。このトレーニングの結果は（ほとんどの場合）推論には使用できません。推論にモデルを使用するには、一般公開されているデータセットまたは独自のデータセットでデータをトレーニングします。Cloud TPU でトレーニングされたモデルでは、データセットを TFRecord 形式にする必要があります。
データセット変換ツールのサンプルを使用して、画像分類データセットを TFRecord 形式に変換できます。画像分類モデルを使用しない場合は、自分でデータセットを TFRecord 形式に変換する必要があります。詳細については、TFRecord と tf.Example をご覧ください。
ハイパーパラメータ調整
データセットでモデルのパフォーマンスを向上させるには、モデルのハイパーパラメータを調整します。すべての TPU でサポートされているモデルに共通のハイパーパラメータに関する情報については、GitHub をご覧ください。モデルに固有のハイパーパラメータに関する情報については、各モデルのソースコードで確認できます。ハイパーパラメータ調整の詳細については、ハイパーパラメータ調整の概要、ハイパーパラメータ調整サービスの使用、ハイパーパラメータを調整するをご覧ください。
推論
モデルをトレーニングしたら、そのモデルを推論（予測）に使用できます。AI Platform は、機械学習モデルを開発、トレーニング、デプロイするためのクラウドベースのソリューションです。モデルをデプロイすれば、AI Platform Prediction サービスを使用できるようになります。
- TensorBoard の TPU ツールを確認します。