Cloud TPU による BERT の調整: 文と文のペア分類タスク（TF 2.x）

このチュートリアルでは、Cloud TPU で BERT モデルのトレーニングを行う方法について説明します。

BERT は言語表現の事前トレーニングの方法です。事前トレーニングとは、最初にウィキペディアなどの大規模なテキストソースを使用して BERT のトレーニングを行うことを意味します。その後、このトレーニング結果を質問応答や感情分析などの他の自然言語処理（NLP）タスクに適用できます。BERT と Cloud TPU を使用すると、さまざまな NLP モデルを 30 分ほどでトレーニングできます。

BERT の詳細については、以下のリソースをご覧ください。

目標

データセットとモデルの出力を格納する Cloud Storage バケットを作成します。
トレーニングジョブを実行します。
出力結果を確認します。

費用

このチュートリアルでは、Google Cloud の課金対象となる以下のコンポーネントを使用します。

Compute Engine
Cloud TPU
Cloud Storage

料金計算ツールを使うと、予想使用量に基づいて費用の見積もりを出すことができます。新しい Google Cloud ユーザーは無料トライアルをご利用いただける場合があります。

始める前に

このセクションでは、Cloud Storage バケットと Compute Engine VM の設定について説明します。

Cloud Shell ウィンドウを開きます。

Cloud Shell を開く
プロジェクト ID の変数を作成します。
```
export PROJECT_ID=project-id
```
Cloud TPU を作成するプロジェクトを使用するように gcloud コマンドラインツールを構成します。
```
gcloud config set project ${PROJECT_ID}
```
次のコマンドを使用して Cloud Storage バケットを作成します。
注: 次のコマンドで、bucket-name をバケットに割り当てる名前に置き換えます。
```
gsutil mb -p ${PROJECT_ID} -c standard -l europe-west4 -b on gs://bucket-name
```
この Cloud Storage バケットには、モデルのトレーニングに使用するデータとトレーニング結果が格納されます。

Cloud TPU でストレージバケットの読み取りと書き込みを行うには、プロジェクトのサービスアカウントに読み取り / 書き込み権限または管理者権限が必要です。これらの権限を表示、設定する方法については、ストレージバケットのセクションをご覧ください。
ctpu up コマンドを使用して Compute Engine VM と Cloud TPU を起動します。
```
$ ctpu up --tpu-size=v3-8 \
  --name=bert-tutorial \
  --machine-type=n1-standard-8 \
  --zone=europe-west4-a \
  --tf-version=2.2
```
注: 複数のプロジェクトがある場合は、--project フラグでプロジェクト名を指定する必要があります。 Compute Engine VM 名が --name フラグで指定されていない場合は、ユーザー名がデフォルトになります。
指定した構成が表示されます。承認する場合は y、キャンセルする場合は n を入力してください。
ctpu up コマンドの実行が終了したら、shell プロンプトが username@projectname から username@vm-name に変更されたことを確認します。変更されていれば、Compute Engine VM にログインしていることになります。
注: Compute Engine インスタンスに接続していない場合は、次のコマンドを実行して接続できます。
```
gcloud compute ssh bert-tutorial --zone=europe-west4-a
```
これらの手順を続行する場合は、VM セッションウィンドウで、(vm)$ で始まる各コマンドを実行します。
```
(vm)$ export TPU_NAME=bert-tutorial
```

データセットを準備する

Compute Engine 仮想マシン（VM）から、requirements.txt をインストールします。
```
(vm)$ sudo pip3 install -r /usr/share/models/official/requirements.txt
```
省略可: download_glue_data.py をダウンロード

このチュートリアルでは、GLUE（General Language Understanding Evaluation）ベンチマークを使用してモデルパフォーマンスの評価と分析を行います。このチュートリアル用に、GLUE データを gs://cloud-tpu-checkpoints/bert/classification で提供します。

生の GLUE データを処理し、TFRecord を作成する場合は、GitHub のデータセット処理手順に従います。

パラメータ値を定義する

次に、モデルのトレーニングと評価に必要なパラメータ値を定義します。

(vm)$ export STORAGE_BUCKET=gs://bucket-name

(vm)$ export PYTHONPATH="${PYTHONPATH}:/usr/share/models"
(vm)$ export BERT_BASE_DIR=gs://cloud-tpu-checkpoints/bert/keras_bert/uncased_L-24_H-1024_A-16
(vm)$ export MODEL_DIR=${STORAGE_BUCKET}/bert-output
(vm)$ export GLUE_DIR=gs://cloud-tpu-checkpoints/bert/classification
(vm)$ export TASK=mnli

パラメータ	説明
`STORAGE_BUCKET`	これは、始める前にで作成した Cloud Storage バケットの名前です。
`BERT_BASE_DIR`	トレーニングに使用されるファイルが含まれているディレクトリです。
`MODEL_DIR`	モデルファイルが含まれるディレクトリです。このチュートリアルでは、Cloud Storage バケット内のフォルダを使用します。このフォルダを事前に作成する必要はありません。フォルダが存在しない場合は、スクリプトによってフォルダが自動作成されます。
`GLUE_DIR`	GLUE トレーニングデータを格納するディレクトリです。

モデルのトレーニング

Compute Engine VM から次のコマンドを実行します。

(vm)$ python3 /usr/share/models/official/nlp/bert/run_classifier.py \
  --mode='train_and_eval' \
  --input_meta_data_path=${GLUE_DIR}/${TASK}_meta_data \
  --train_data_path=${GLUE_DIR}/${TASK}_train.tf_record \
  --eval_data_path=${GLUE_DIR}/${TASK}_eval.tf_record \
  --bert_config_file=${BERT_BASE_DIR}/bert_config.json \
  --init_checkpoint=${BERT_BASE_DIR}/bert_model.ckpt \
  --train_batch_size=32 \
  --eval_batch_size=32 \
  --learning_rate=2e-5 \
  --num_train_epochs=1 \
  --model_dir=${MODEL_DIR} \
  --distribution_strategy=tpu \
  --tpu=${TPU_NAME}

パラメータ	説明
`mode`	「train_and_eval」に設定すると、このスクリプトはモデルをトレーニングして評価します。「export_only」に設定すると、このスクリプトは保存されたモデルをエクスポートします。
`input_meta_data_path`	トレーニングと評価に使用するデータセットに関するメタデータを含むファイルへのパス。
`tpu`	TPU_NAME 変数で指定された名前を使用します。
`data_dir`	トレーニング入力用の Cloud Storage のパスを指定します。この例では、fake_imagenet データセットに設定されています。
`model_dir`	モデルのトレーニング中にチェックポイントとサマリーが保存されるディレクトリを指定します。該当するフォルダがない場合は、プログラムによって作成されます。Cloud TPU を使用する場合、`model_dir` は Cloud Storage パスにする必要があります（`gs://...`）。以前のチェックポイントが、同じサイズの TPU と TensorFlow バージョンを使用して作成されていれば、既存のフォルダを再利用して現在のチェックポイントデータを読み込んで追加のチェックポイントを保存できます。
`distribution_strategy`	TPU で ResNet モデルを実行するには、「distribution_strategy」を「tpu」に設定する必要があります。

結果の確認

トレーニングには v3-8 TPU で約 2 分かかります。スクリプトが完了すると、結果は次のようになります。

Training Summary:
{'total_training_steps': 12271, 'train_loss': 0.0, 'last_train_metrics': 0.0, 'eval_metrics': 0.8608226180076599}

精度を上げるには、--num_tain_epochs=3 を設定します。スクリプトのトレーニングには約 1 時間かかります。

クリーンアップ

Compute Engine インスタンスとの接続を切断していない場合は切断します。
```
(vm)$ exit
```
プロンプトが username@projectname に変わります。これは、現在、Cloud Shell 内にいることを示しています。
Cloud Shell で、Compute Engine VM と Cloud TPU の設定時に使用した --name フラグと --zone フラグを指定して ctpu delete コマンドを実行します。これにより、VM と Cloud TPU の両方が削除されます。
```
$ ctpu delete --name=bert-tutorial --zone=europe-west4-a
```
TPU の使用に対して不要な料金が発生しないように、ctpu status を実行してインスタンスが割り当てられていないことを確認します。削除には数分かかることがあります。次のようなレスポンスは、割り当てられたインスタンスがないことを示します。
```
$ ctpu status --name=bert-tutorial --zone=europe-west4-a
```
```
2018/04/28 16:16:23 WARNING: Setting zone to "europe-west4-a"
No instances currently exist.
    Compute Engine VM:     --
    Cloud TPU:             --
```
次に示すように gsutil を実行します。bucket-name の部分は、このチュートリアルで作成した Cloud Storage バケット名に置き換えてください。
```
$ gsutil rm -r gs://bucket-name
```