在 Cloud TPU 上运行 Inception

本教程介绍如何在 Cloud TPU 上训练 Inception 模型。

免责声明

本教程使用第三方数据集。Google 不对此数据集的有效性或任何其他方面提供任何表示、担保或其他保证。

模型说明

Inception v3 是一种广泛使用的图片识别模型，可以实现非常高的准确率。该模型是数年来多位研究人员提出的诸多想法积淀的成果。它以 Szegedy 等人发表的《Rethinking the Inception Architecture for Computer Vision》原创性论文为理论依据。

该模型由对称构件和不对称构件组成，包括：

卷积
平均池化
最大池化
concat
丢包
全连接层

损失是通过 Softmax 计算的。

下图概括显示了该模型：

您可以在 GitHub 上详细了解该模型。

该模型是使用高级 Estimator API 构建的。

此 API 通过封装大多数低级函数极大地简化了模型创建，使用户可以专注于模型开发，而非关注负责运行的底层硬件的内部工作。

准备工作

在开始学习本教程之前，请检查您的 Google Cloud Platform 项目是否已正确设置。

登录您的 Google 帐号。
如果您还没有 Google 帐号，请注册新帐号。
在 GCP Console 的项目选择器页面上，选择或创建 GCP 项目。

注意：如果您不打算保留在此过程中创建的资源，请创建新的 GCP 项目，而不要选择现有的 GCP 项目。完成本教程介绍的步骤后，您可以删除所创建的项目，并移除与该项目关联的所有资源。

转到项目选择器页面
确保您的 Google Cloud Platform 项目已启用结算功能。了解如何确认您的项目已启用结算功能。

本演示使用 Google Cloud Platform 的计费组件。请查看 Cloud TPU 价格页面估算您的费用。请务必在使用完您创建的资源以后清理这些资源，以免产生不必要的费用。

设置资源

本节介绍如何为教程设置 Cloud Storage 存储空间、虚拟机和 Cloud TPU 资源。

创建 Cloud Storage 存储分区

您需要一个 Cloud Storage 存储分区来存储模型的训练数据和训练结果。本教程中使用的 ctpu up 工具会为 Cloud TPU 服务帐号设置默认权限。如果您需要更精细的权限，请查看访问级层权限。

存储分区位置必须与虚拟机和 TPU 节点位于同一区域。虚拟机和 TPU 节点位于特定地区，即区域内的细分。

转到 GCP Console 上的 Cloud Storage 页面。

转到 Cloud Storage 页面
创建一个新的存储分区，并指定以下选项：
- 您选择的唯一名称。
- 默认存储类别：Standard
- 位置：在计划创建 TPU 节点的区域指定存储分区位置。请参阅 TPU 类型和地区，了解可以使用各种 TPU 类型的位置。

使用 `ctpu` 工具

本节演示如何使用 Cloud TPU 预配工具 (ctpu) 来创建和管理 Cloud TPU 项目资源。这些资源由具有相同名称的虚拟机和 Cloud TPU 资源组成。这些资源必须与您刚创建的存储分区位于同一区域/地区中。

您还可以使用 gcloud 命令或通过 Cloud Console 来设置虚拟机和 TPU 资源。请参阅创建和删除 TPU 页面，了解设置和管理 Compute Engine 虚拟机和 Cloud TPU 资源的所有方法。

运行 `ctpu up` 以创建资源

打开一个 Cloud Shell 窗口。

打开 Cloud Shell
运行 gcloud config set project <Your-Project> 以使用要在其中创建 Cloud TPU 的项目。
运行 ctpu up，为 Cloud TPU 设备或 Pod 切片指定所示标志。如需了解标志选项和说明，请参阅 CTPU 参考文档。

设置 Cloud TPU 设备：

$ ctpu up

系统会显示以下配置消息：

ctpu will use the following configuration:

Name: [your TPU's name]
Zone: [your project's zone]
GCP Project: [your project's name]
TensorFlow Version: 1.14
VM:
 Machine Type: [your machine type]
 Disk Size: [your disk size]
 Preemptible: [true or false]
Cloud TPU:
 Size: [your TPU size]
 Preemptible: [true or false]

OK to create your Cloud TPU resources with the above configuration? [Yn]:

按 y 创建 Cloud TPU 资源。

ctpu up 命令会创建虚拟机和 Cloud TPU 服务。

从现在开始，前缀 (vm)$ 表示您应该在 Compute Engine 虚拟机实例上运行该命令。

验证您的 Compute Engine 虚拟机

当 ctpu up 命令执行完毕后，验证 shell 提示符已从 username@project 更改为 username@tpuname。此变化表明您现已登录 Compute Engine 虚拟机。

获取数据

设置以下环境变量，并将 YOUR-BUCKET-NAME 替换为 Cloud Storage 存储分区的名称：

(vm)$ export STORAGE_BUCKET=gs://YOUR-BUCKET-NAME

训练应用预期能够访问您在 Cloud Storage 中的训练数据。在训练期间，训练应用还会使用您的 Cloud Storage 存储分区来存储检查点。

训练数据集

ImageNet 是一个图像数据库。数据库中的图像被整理为一个层次结构，该层次结构中的每个节点由成百上千个图像进行描述。

本教程使用演示版的完整 ImageNet 数据集，该数据集称为“fake_imagenet”数据集。此演示版本可用于测试本教程，节省了下载模型和对完整的 ImageNet 数据库运行模型所需的存储空间或时间。以下是有关使用随机生成的 fake_imagenet 数据集测试该模型的说明。或者，您也可以使用完整的 ImageNet 数据集。

下文所述的 DATA_DIR 环境变量用于指定要利用哪个数据集进行训练。

请注意，此 fake_imagenet 数据集仅用于了解如何使用 Cloud TPU 并验证端到端性能。准确率数字和保存的模型并无实际意义。

此 fake_imagenet 数据集位于 Cloud Storage 上的以下位置：

gs://cloud-tpu-test-datasets/fake_imagenet

（可选）设置 TensorBoard

TensorBoard 提供了一套工具，可直观地呈现 TensorFlow 数据。当用于监控时，TensorBoard 可以帮助识别处理过程中的瓶颈，并提出改进性能的方法。

如果目前不需要监控模型的输出，则可以跳过 TensorBoard 设置步骤。

如果想要监控模型的输出和性能，请参照设置 TensorBoard 指南。

运行模型

现在您可以使用 ImageNet 数据训练和评估 Inception v3 模型了。

Inception v3 模型已预安装在您的 Compute Engine 虚拟机的 /usr/share/tpu/models/experimental/inception/ 目录中。

在以下步骤中，前缀 (vm)$ 表示您应该在 Compute Engine 虚拟机上运行该命令：

设置包含下列某个值的 DATA_DIR 环境变量：
- 如果您使用的是 fake_imagenet 数据集：
```
(vm)$ export DATA_DIR=gs://cloud-tpu-test-datasets/fake_imagenet
```
- 如果您已将一组训练数据上传到您的 Cloud Storage 存储分区：
```
(vm)$ export DATA_DIR=${STORAGE_BUCKET}/data
```
运行 Inception v3 模型：
```
(vm)$ python /usr/share/tpu/models/experimental/inception/inception_v3.py \
    --tpu=$TPU_NAME \
    --learning_rate=0.165 \
    --train_steps=250000 \
    --iterations=500 \
    --use_tpu=True \
    --use_data=real \
    --mode=train_and_eval \
    --train_steps_per_eval=2000 \
    --data_dir=${DATA_DIR} \
    --model_dir=${STORAGE_BUCKET}/inception
```
- --tpu 用于指定 Cloud TPU 的名称。请注意，ctpu 会将此名称以环境变量 (TPU_NAME) 的形式传递给 Compute Engine 虚拟机。
- --use_data 用于指定此程序在训练期间必须使用哪种类型的数据（是虚构的还是真实的）。默认值为 fake（虚构数据）。
- --data_dir 用于指定训练输入的 Cloud Storage 路径。如果您使用的是 fake_imagenet 数据，应用会忽略此参数。
- --model_dir 用于指定在模型训练期间存储检查点和摘要的目录。如果指定的文件夹不存在，此程序会自行创建。使用 Cloud TPU 时，model_dir 必须是 Cloud Storage 路径 (gs://...)。您可以重复使用现有的文件夹来加载当前检查点数据和存储其他检查点，只要先前的检查点是使用相同大小的 TPU 和 Tensorflow 版本创建的即可。

预期结果

Inception v3 可对 299x299 图片执行操作。默认训练批量大小为 1024，即每次迭代处理其中 1024 个图片。

您可以使用 --mode 标志选择以下三种操作模式之一：train（训练）、eval（评估）和 train_and_eval（训练并评估）。

--mode=train 或 --mode=eval 用于指定仅限训练的作业或仅限评估的作业。
--mode=train_and_eval 用于指定同时执行训练和评估的混合式作业。

仅限训练的作业会运行 train_steps 中定义的指定步数，并且可以遍历整个训练集（如果需要）。

Train_and_eval 作业会循环执行训练和评估部分。每个训练周期都运行 train_steps_per_eval，然后运行评估作业（使用训练到当时的权重）。

训练周期数的计算方式是对 train_steps/train_steps_per_eval 向下取整（通过 floor 函数实现）。

floor(train_steps / train_steps_per_eval)

默认情况下，基于 Estimator API 的模型会报告每过特定步数的损失值。报告格式如下：

step = 15440, loss = 12.6237

讨论：专门针对 TPU 对模型进行修改

为了使基于 Estimator API 的模型可在 TPU 上运行，仅需进行极少量的修改。此程序会导入以下库：

from google.third_party.tensorflow.contrib.tpu.python.tpu import tpu_config
from google.third_party.tensorflow.contrib.tpu.python.tpu import tpu_estimator
from google.third_party.tensorflow.contrib.tpu.python.tpu import tpu_optimizer

CrossShardOptimizer 函数会封装优化器，如下所示：

if FLAGS.use_tpu:
  optimizer = tpu_optimizer.CrossShardOptimizer(optimizer)

定义该模型的函数会使用以下命令返回 Estimator 规范：

return tpu_estimator.TPUEstimatorSpec(
    mode=mode, loss=loss, train_op=train_op, eval_metrics=eval_metrics)

main 函数使用以下方法定义了 Estimator 兼容配置：

run_config = tpu_config.RunConfig(
    master=tpu_grpc_url,
    evaluation_master=tpu_grpc_url,
    model_dir=FLAGS.model_dir,
    save_checkpoints_secs=FLAGS.save_checkpoints_secs,
    save_summary_steps=FLAGS.save_summary_steps,
    session_config=tf.ConfigProto(
        allow_soft_placement=True,
        log_device_placement=FLAGS.log_device_placement),
    tpu_config=tpu_config.TPUConfig(
        iterations_per_loop=iterations,
        num_shards=FLAGS.num_shards,
        per_host_input_for_training=per_host_input_for_training))

此程序使用此定义的配置和模型定义函数来创建 Estimator 对象：

inception_classifier = tpu_estimator.TPUEstimator(
    model_fn=inception_model_fn,
    use_tpu=FLAGS.use_tpu,
    config=run_config,
    params=params,
    train_batch_size=FLAGS.train_batch_size,
    eval_batch_size=eval_batch_size,
    batch_axis=(batch_axis, 0))

仅限训练的作业只调用 train 函数：

inception_classifier.train(
    input_fn=imagenet_train.input_fn, steps=FLAGS.train_steps)

仅限评估的作业会从可用检查点获取数据，并一直等到有新的检查点可用：

for checkpoint in get_next_checkpoint():
  eval_results = inception_classifier.evaluate(
      input_fn=imagenet_eval.input_fn,
      steps=eval_steps,
      hooks=eval_hooks,
      checkpoint_path=checkpoint)

当您选择选项 train_and_eval 时，训练和评估作业会并行运行。在评估过程中，会从最新的可用检查点加载可训练变量。训练和评估周期按标志中指定的方式重复：

for cycle in range(FLAGS.train_steps // FLAGS.train_steps_per_eval):
  inception_classifier.train(
      input_fn=imagenet_train.input_fn, steps=FLAGS.train_steps_per_eval)

  eval_results = inception_classifier.evaluate(
      input_fn=imagenet_eval.input_fn, steps=eval_steps, hooks=eval_hooks)

如果您使用 fake_imagenet 数据集训练模型，请转到清理部分。

使用完整的 Imagenet 数据集

验证空间要求

您的本地计算机或虚拟机上需要具有大约 300GB 的可用空间才能使用完整的 ImageNet 数据集。

您可以使用以下任一方法来增加虚拟机磁盘的大小：

使用要分配的大小（以 GB 为单位）在 ctpu up 命令行上指定 --disk-size-gb 标志。
按照 Compute Engine 指南向您的虚拟机添加磁盘。
- 将删除实例时设置为删除磁盘，以确保在您移除虚拟机后，相应磁盘也会一并移除。
- 记下新磁盘的路径，例如：/mnt/disks/mnt-dir。

下载并转换 ImageNet 数据

注册一个 ImageNet 帐号。记住您在创建该帐号时使用的用户名和密码。
设置 DATA_DIR 环境变量来指向 Cloud Storage 存储分区上的一个路径：
```
(vm)$ export DATA_DIR=gs://storage-bucket
```

从 GitHub 下载 imagenet_to_gcs.py 脚本：

$ wget https://raw.githubusercontent.com/tensorflow/tpu/master/tools/datasets/imagenet_to_gcs.py

设置 SCRATCH_DIR 变量以包含该脚本的工作文件。此变量必须在您的本地机器或 Compute Engine 虚拟机上指定一个位置。例如，在本地机器上：
```
$ SCRATCH_DIR=./imagenet_tmp_files
```
或者，如果您正在虚拟机上处理数据：
```
(vm)$ SCRATCH_DIR=/mnt/disks/mnt-dir/imagenet_tmp_files
```

运行 imagenet_to_gcs.py 脚本以下载 ImageNet 数据、设置其数据格式并将其上传到存储分区。将 [USERNAME] 和 [PASSWORD] 替换为您用于创建 ImageNet 帐号的用户名和密码。

$ pip install google-cloud-storage
$ python imagenet_to_gcs.py \
  --project=$PROJECT \
  --gcs_output_path=$DATA_DIR \
  --local_scratch_dir=$SCRATCH_DIR \
  --imagenet_username=[USERNAME] \
  --imagenet_access_key=[PASSWORD]

或者，如果已下载 JPEG 格式的原始数据，则可以提供直接 raw_data_directory 路径。如果提供用于训练或验证数据的原始数据目录，其格式应为：

训练图片：train/n03062245/n03062245_4620.JPEG
验证图片：validation/ILSVRC2012_val_00000001.JPEG
验证标签：synset_labels.txt

训练子目录名称（例如，n03062245）是“WordNet ID”(wnid)。ImageNet API 在 synset_labels.txt 文件中显示了 WordNet ID 与其相关联的验证标签之间的映射。此上下文中的同义词集是视觉上类似的一组图片。

注意：下载和预处理数据可能需要 10 小时或更长时间，具体取决于您的网络和计算机速度。请勿中断该脚本。

该脚本处理完毕后，系统将显示类似如下的消息：

2018-02-17 14:30:17.287989: Finished writing all 1281167 images in data set.

该脚本会生成一系列以下形式的目录（用于训练和验证）：

${DATA_DIR}/train-00000-of-01024
${DATA_DIR}/train-00001-of-01024
 ...
${DATA_DIR}/train-01023-of-01024

和

${DATA_DIR}/validation-00000-of-00128
S{DATA_DIR}/validation-00001-of-00128
 ...
${DATA_DIR}/validation-00127-of-00128

将数据上传到您的 Cloud 存储分区后，请运行模型并设置 --data_dir=${DATA_DIR}。

清理

为避免系统因本主题中使用的资源向您的 GCP 帐号收取费用，请执行以下操作：

与 Compute Engine 虚拟机断开连接：
```
(vm)$ exit
```
您的提示符现在应为 user@projectname，表明您位于 Cloud Shell 中。
在您的 Cloud Shell 中，使用您在设置 Cloud TPU 时所用的 --zone 标志运行 ctpu delete，以删除 Compute Engine 虚拟机和 Cloud TPU：
```
$ ctpu delete [optional: --zone]
```
重要提示：如果您在运行 ctpu up 时设置了 TPU 资源名称，则必须在运行 ctpu delete 时使用 --name 标志指定该名称才能关停 TPU 资源。
运行 ctpu status 以确保未分配任何实例，避免产生不必要的 TPU 使用费。删除操作可能需要几分钟时间才能完成。如下所示的响应表明不再有已分配的实例：
```
2018/04/28 16:16:23 WARNING: Setting zone to "us-central1-b"
No instances currently exist.
        Compute Engine VM:     --
        Cloud TPU:             --
```
如下所示运行 gsutil，将 YOUR-BUCKET-NAME 替换为您为本教程创建的 Cloud Storage 存储分区的名称：
```
$ gsutil rm -r gs://YOUR-BUCKET-NAME
```

Inception v4

Inception v4 模型是一种深度神经网络模型，它使用 Inception v3 构件来实现比 Inception v3 更高的准确率。Szegedy 等人的《Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning》对此进行了介绍。

Inception v4 模型已预安装在您的 Compute Engine 虚拟机的 /usr/share/tpu/models/experimental/inception/ 目录中。