Cloud TPU による BERT の調整: 文と文のペア分類タスク

このチュートリアルでは、Cloud TPU で BERT モデルのトレーニングを行う方法について説明します。

BERT は言語表現の事前トレーニングの方法です。事前トレーニングとは、最初にウィキペディアなどの大規模なテキストソースを使用して BERT のトレーニングを行うことを意味します。その後、このトレーニング結果を質問応答や感情分析などの他の自然言語処理（NLP）タスクに適用できます。BERT と Cloud TPU を使用すると、さまざまな NLP モデルを 30 分ほどでトレーニングできます。

BERT の詳細については、以下のリソースをご覧ください。

目標

データセットとモデルの出力を格納する Cloud Storage バケットを作成します。
BERT リポジトリと他の必要なファイルのクローンを作成します。
トレーニングジョブを実行します。
出力結果を確認します。

費用

このチュートリアルでは、Google Cloud の課金対象となる以下のコンポーネントを使用します。

Compute Engine
Cloud TPU
Cloud Storage

料金計算ツールを使うと、予想使用量に基づいて費用の見積もりを出すことができます。新しい Google Cloud ユーザーは無料トライアルをご利用いただける場合があります。

始める前に

このセクションでは、Cloud Storage バケットと Compute Engine VM の設定について説明します。

Cloud Shell ウィンドウを開きます。

Cloud Shell を開く
プロジェクト ID の変数を作成します。
```
export PROJECT_ID=project-id
```
Cloud TPU を作成するプロジェクトを使用するように gcloud コマンドラインツールを構成します。
```
gcloud config set project ${PROJECT_ID}
```
次のコマンドを使用して Cloud Storage バケットを作成します。
注: 次のコマンドで、bucket-name をバケットに割り当てる名前に置き換えます。
```
gsutil mb -p ${PROJECT_ID} -c standard -l us-central1 -b on gs://bucket-name
```
この Cloud Storage バケットには、モデルのトレーニングに使用するデータとトレーニング結果が格納されます。

Cloud TPU でストレージバケットの読み取りと書き込みを行うには、プロジェクトのサービスアカウントに読み取り / 書き込み権限または管理者権限が必要です。これらの権限を表示、設定する方法については、ストレージバケットのセクションをご覧ください。
ctpu up コマンドを使用して Compute Engine VM と Cloud TPU を起動します。
```
$ ctpu up --tpu-size=v3-8 \
 --machine-type=n1-standard-8 \
 --zone=us-central1-b \
 --tf-version=1.15.3 \
 --name=bert-tutorial
```
注: 複数のプロジェクトがある場合は、--project フラグでプロジェクト名を指定する必要があります。
指定した構成が表示されます。承認する場合は y、キャンセルする場合は n を入力してください。
ctpu up コマンドの実行が終了したら、shell プロンプトが username@project から username@vm-name に変更されたことを確認します。変更されていれば、Compute Engine VM にログインしていることになります。

注: Compute Engine インスタンスに接続していない場合は、次のコマンドを実行して vm-name を VM 名に置き換えます。VM 名にはデフォルトでユーザー名が使用されます。
```
gcloud compute ssh bert-tutorial --zone=us-central1-b
```

これらの手順を続行する場合は、VM セッションウィンドウで、(vm)$ で始まる各コマンドを実行します。

環境変数をいくつか定義する

(vm)$ export STORAGE_BUCKET=gs://bucket-name

(vm)$ export TPU_NAME=bert-tutorial
(vm)$ export PYTHONPATH="${PYTHONPATH}:/usr/share/tpu/models"
(vm)$ export BERT_BASE_DIR=gs://cloud-tpu-checkpoints/bert/uncased_L-12_H-768_A-12
(vm)$ export GLUE_DIR=$HOME/glue_data
(vm)$ export TASK_NAME=MRPC

BERT リポジトリのクローンを作成する

Compute Engine 仮想マシン（VM）から、BERT リポジトリのクローンを作成します。

(vm)$ git clone https://github.com/google-research/bert

`download_glue_data.py` のダウンロード

このチュートリアルでは、GLUE（General Language Understanding Evaluation）ベンチマークを使用してモデルパフォーマンスの評価と分析を行います。このベンチマークを使用するには、次の git clone コマンドを使用して download_glue_data.py スクリプトをダウンロードします。

(vm)$ git clone https://gist.github.com/60c2bdb54d156a41194446737ce03e2e.git download_glue_data

GLUE データをダウンロードする

次に、Compute Engine VM で download_glue_data.py を実行します。

(vm)$ python3 download_glue_data/download_glue_data.py --data_dir $HOME/glue_data --tasks all

モデルのトレーニング

Compute Engine VM から次のコマンドを実行します。

python3 ./bert/run_classifier.py \
--task_name=${TASK_NAME} \
--do_train=true \
--do_eval=true \
--data_dir=${GLUE_DIR}/${TASK_NAME} \
--vocab_file=${BERT_BASE_DIR}/vocab.txt \
--bert_config_file=${BERT_BASE_DIR}/bert_config.json \
--init_checkpoint=${BERT_BASE_DIR}/bert_model.ckpt \
--max_seq_length=128 \
--train_batch_size=32 \
--learning_rate=2e-5 \
--num_train_epochs=3.0 \
--output_dir=${STORAGE_BUCKET}/${TASK_NAME}-output/ \
--use_tpu=True \
--tpu_name=${TPU_NAME}

結果の確認

トレーニングの所要時間は 5 分未満です。トレーニングが完了すると、次のような結果が表示されます。

***** Eval results *****
  eval_accuracy = 0.845588
  eval_loss = 0.64990824
  global_step = 343
  loss = 0.34979442