此页面由 Cloud Translation API 翻译。

在 Cloud TPU 虚拟机上分析模型

借助性能剖析，您可以在 Cloud TPU 上优化模型的训练性能。您可以使用 TensorBoard 和 Cloud TPU TensorBoard 插件：用于分析模型。

如需详细了解如何将 TensorBoard 与其中一个支持的框架搭配使用，请参阅以下文档：

对训练脚本进行性能剖析的前提条件

在使用 TPU 性能剖析工具之前，您需要：

开始模型训练会话
1. 设置 v4-8 TPU 来训练模型。本文档中介绍的分析过程使用 ResNet 模型，但您也可以使用另一个模型，虚拟私有云 (v4 TPU)。
2. 在 TPU 虚拟机中，添加一行代码以启动性能分析器服务器添加到训练脚本。
  
  对于 ResNET 训练，训练脚本位于： /usr/share/tpu/tensorflow/resnet50_keras/resnet50.py.
  
  将突出显示的行插入 resnet50.py。在文件顶部，添加以下 import 语句：
```
import tensorflow.compat.v2 as tf2
```
  在脚本开始训练循环之前，将突出显示的行：
```
if name == 'main':
 tf.logging.set_verbosity(tf.logging.INFO)
 tf2.profiler.experimental.server.start(6000)
 app.run(main)
```
  在以下情况下，TensorFlow Profiler 服务器将在您的 TPU 虚拟机上启动：运行该脚本
3. 开始模型训练。
  
  运行训练脚本，然后等待系统显示输出指示模型正在训练。输出取决于您的代码和模型。查找类似 Epoch 1/100 的输出。或者，您也可以前往 Cloud TPU 页面在 Google Cloud 控制台中，选择您的 TPU 并查看 CPU 利用率图表。虽然 CPU 利用率图表未显示 TPU 利用率，它是一个这表明 TPU 正在训练模型。

开始分析模型训练

在模型训练时，打开一个单独的终端窗口或 Cloud Shell。按照以下步骤开始分析模型训练。

在新窗口或 shell 中，通过端口转发连接到您的 TPU 虚拟机。
```
gcloud compute tpus tpu-vm ssh your-vm --zone=us-central2-b --ssh-flag="-4 -L 9001:localhost:9001"
```
端口转发允许本地浏览器与 TensorBoard 通信您的 TPU 虚拟机上运行的服务器。
安装 TensorFlow 要求 {: id="install-tensorboard"}。

您的 TPU 虚拟机默认安装了 TensorBoard。您您也可以手动安装 TensorFlow。无论采用哪种方式，都可能需要一些额外的依赖项。安装这些您的 TPU 虚拟机上的依赖项：
```
pip3 install -r /usr/share/tpu/models/official/requirements.txt
```

安装 Cloud TPU TensorBoard 插件 {: id="install-plugin"}。

从 TPU 虚拟机运行以下命令：

 pip3 install --upgrade "cloud-tpu-profiler>=2.3.0"
 pip3 install tensorflow
 pip3 install tensorboard_plugin_profile

启动 TensorBoard 服务器

运行 TensorBoard 并创建日志目录 (logdir) 在 TPU 虚拟机上，TensorBoard 可以在其中写入分析数据。指定使用 --logdir 标志指定日志目录。例如：
```
mkdir log-directory
TPU_LOAD_LIBRARY=0 tensorboard --logdir log-directory --port 9001
```

TensorBoard 会启动一个网络服务器并显示其网址：

Serving TensorBoard on localhost; to expose to the network, use a proxy or pass --bind_all
TensorBoard 2.3.0 at http://localhost:9001 (Press CTRL+C to quit)

打开网络浏览器并转到 TensorBoard 输出中显示的网址。选择分析 (Profile)。工具下拉菜单中会显示可用的性能分析工具列表。

捕获 TPU 虚拟机上的性能剖析文件

选择捕获配置文件按钮。
选择 IP 地址单选按钮。
在 Profile Service URL 字段中输入 HOSTNAME:6000。
选择拍摄按钮。

使用 TensorBoard 查看性能剖析文件数据

捕获配置文件后，TensorBoard 会显示 overview_page。左侧窗格中会显示您可以使用的分析工具列表。

个人资料

捕获一些模型数据后，系统会显示分析标签页。您您可能需要点击 TensorBoard 页面。数据可用后，点击个人资料标签页提供了一系列可帮助您进行性能分析的工具。您可以使用以下任一工具来分析您的模型。

概览页面
Input Pipeline Analyzer
XLA Op Profile
Trace Viewer（仅限 Chrome 浏览器）
Memory Viewer

性能剖析概览页面

概览页面 (overview_page) 位于配置文件页面，它提供了显示模型在捕获运行期间性能的顶级视图。页面显示了所有 TPU 的汇总概览以及输入流水线分析。有一个用于选择单个 TPU 的选项（位于主机下拉菜单中）。

该页面在以下面板中显示数据：

性能摘要
- FLOPS 利用率 - TPU 矩阵单元的使用百分比
TPU 上的十大 TensorFlow 操作显示耗时最多的 TensorFlow 操作：

每行显示操作的自用时间（以所花费时间的百分比表示）累计时间、类别、名称和 FLOPS 率）。
运行环境
- 使用的主机数量
- 使用的 TPU 类型
- TPU 核心数

Input Pipeline Analyzer

Input Pipeline Analyzer 可提供有关性能结果的数据分析。该工具会立即告诉您程序是否受输入限制，进行设备端分析和主机端分析，以调试流水线正在形成瓶颈。

如需深入了解如何优化流水线性能，请参阅有关输入流水线性能的指南。

输入流水线

当 TensorFlow 程序从文件中读取数据时，读取过程可分为串联连接的多个数据处理阶段。一个输出结果是下一个阶段的输入。这个读取系统称为输入流水线。

从文件中读取记录的典型流水线具有以下阶段：

文件读取
文件预处理（可选）
将文件从主机传输到设备

效率低下的输入流水线可能会严重降低应用的速度。当应用在其输入流水线上花费大量时间时，我们将其称为输入受限。使用 Input Pipeline Analyzer 了解输入流水线效率低下的情况。

输入流水线信息中心

如需打开 Input Pipeline Analyzer，请选择分析，然后选择 Tools 下拉菜单中的 input_pipeline_analyzer。

此信息中心会显示设备端和主机端分析详细信息。

设备端分析 - 显示设备单步用时的详细信息。

设备单步用时统计信息
等待输入数据的设备单步用时百分比

主机端分析

本部分显示了主机端分析的详细信息，分为以下几个类别：

将要传输到设备的数据加入队列。向设备传输数据之前将数据加入馈入队列所花费的时间。
数据预处理：预处理操作（例如图片）所用的时间解压缩。
预先从文件中读取数据 读取文件所用的时间，包括缓存、预提取和交错
按需从文件中读取数据 读取所用的时间无需缓存、预取和交错即可从文件读取数据。
其他数据读取或处理：其他与输入相关的操作所花费的时间未使用 tf.data。

查看各个输入操作及其类别的统计信息请展开 Show Input Op statistics 部分。

系统将显示如下所示的源数据表：

每个表条目包含以下信息：

输入操作：显示输入操作的 TensorFlow 操作名称。
计数：显示执行操作的实例总数性能分析期间的数据
总时间（以毫秒为单位）：显示每个查询上花费的时间的累计总和操作实例。
总时间百分比表示操作上花费的总时间占总时间的比例输入处理所用的总时间。
总自用时间（以毫秒为单位）：显示累计时间该函数的所有实例。自测时间用于测量所花费的时间（不包括它调用的任何函数所花的时间）。例如，Iterator::PaddedBatch::Filter::ForeverRepeat::Map 为由 Iterator::PaddedBatch::Filter 调用，因此其总调用次数后者的总自用时间不包括自身。
总自用时间百分比 显示总自用时间占总时间的比例输入处理所花费的时间。
类别：显示输入操作的处理类别。

Op Profile

Op Profile () 是一款 Cloud TPU 工具，它可展示在性能剖析期间执行的 XLA 操作的性能统计信息。操作配置文件会显示以下内容：

您的应用使用 Cloud TPU 的程度，按类别和 TPU FLOPS 利用率显示各操作所用时间的百分比。
最耗时的操作。这些操作可能有待优化。
各个操作的详细信息，包括形状、填充和使用该操作的表达式。

您可以使用 Op Profile 查找要优化的目标。例如，您可以使用操作配置文件确定哪些 XLA 操作执行时间最长以及它们消耗了多少 TPU FLOPS。

使用 Op Profile

Op Profile 工具包含 XLA 操作的性能统计信息。您可以在 TensorBoard 中查看操作配置文件数据，请点击从屏幕顶部的 Tools 中选择 op_profile 下拉菜单中。您将看到如下所示的界面：

“概览”部分显示 Cloud TPU 利用率并提供优化建议。
控制面板：包含用于设置表格中显示的操作、显示哪些操作以及如何对它们进行排序。
操作表：列出最高的 TensorFlow 操作与 XLA 操作相关联的类别。这些操作按 Cloud TPU 使用率百分比排序。
操作详细信息卡片：显示有关操作的详细信息。这些详细信息包括 FLOPS 利用率、使用该操作的表达式以及操作布局（拟合）。

XLA 操作表

操作表按从高到低的顺序列出了 XLA 操作类别 Cloud TPU 用量的百分比。下表显示了所花费的时间百分比、操作类别名称、关联的 TensorFlow 操作以及类别的 FLOPS 利用率百分比。显示位置（或隐藏）某个类别中 10 个最耗时的 XLA 操作，请点击三角形。

时间显示所有用户花费时间的总百分比，操作。您可以点击以展开条目，查看每个操作所用时间的明细。
十大操作：用于显示或隐藏类别名称旁边的切换开关顶部类别中十个耗时的操作。如果一个融合操作条目会显示在操作列表中，您可以展开它来查看非融合元素级操作。
TensorFlow 操作 - 显示 TensorFlow 操作的名称与 XLA 操作相关联。
FLOPS 显示 FLOPS 利用率，即已测量的 FLOPS 表示为 Cloud TPU 峰值 FLOPS 的百分比。 FLOPS 利用率百分比越高，操作运行速度越快。表单元格采用颜色编码：绿色表示 FLOPS 利用率高（好），红色表示 FLOPS 利用率低（差）。

操作详细信息卡片

当您选择表格条目后，系统会显示一张卡片，其中显示了有关 XLA 操作或操作类别的详细信息。典型的卡片如下所示：

名称和类别：显示突出显示的 XLA 操作名称和类别。
FLOPS 利用率：以占总数的百分比显示 FLOPS 利用率可能为 FLOPS。
表达式显示 XLA 表达式包含相应操作。
内存利用率：显示计划。
布局（仅限卷积运算）显示张量的形状和布局，包括对 XLA 编译器执行的任何填充的说明。

解读结果

对于卷积运算，TPU FLOPS 利用率低的原因可能是以下两个原因：

填充（矩阵单元仅被部分使用）
卷积运算受内存限制

本部分解释了模型的一些性能指标并且 FLOP 利用率低。在这个例子中，output fusion（输出融合）和 convolution（卷积）会占用执行时间有许多向量或标量操作 FLOP 利用率较低。

此类性能剖析文件的一种优化策略是将矢量或标量操作转换为卷积运算。

在以下示例中，%convolution.399 显示的 FLOPS 利用率和内存利用率低于上例中的 %convolution.340。

在此示例中，将批次大小填充为 128，将特征大小填充为 8。在本示例中，只有 5% 的矩阵单位得到有效利用。利用率计算方法：((batch_time * num_of_features) / padding_size) / 核心数。将此示例中的 FLOPS 与上一个示例中的 %convolution.340 进行比较没有内边距的示例。

Trace Viewer

Trace Viewer 是一款 Cloud TPU 性能分析工具，（在个人资料页面上）。此工具使用 Chrome 跟踪记录事件分析查看器，因此仅适用于 Chrome 浏览器。

Trace Viewer 包含一个时间轴，其中显示了以下内容：

TensorFlow 所执行操作的时长 model.
系统的哪个部分（TPU 还是主机）执行了操作。通常，宿主机执行馈入操作，训练数据并将其传输到 TPU，而 TPU 负责执行实际模型训练。

借助 Trace Viewer，您可以识别模型中的性能问题，然后采取措施来解决这些问题。例如，您可以大致了解馈入还是模型训练占用了大部分时间。钻探您可以确定哪些 TensorFlow 操作最长执行时间。

对于每个 Cloud TPU，Trace Viewer 仅限访问 100 万个事件。如果如果您需要评估更多事件，请使用 Streaming Trace Viewer 。

Trace Viewer 界面

如需打开 Trace Viewer，请转到 TensorBoard，然后点击位于顶端的 Profile 标签页从屏幕顶部的工具下拉列表中选择 trace_viewer。Trace Viewer 会显示最近的运行：

此屏幕包含以下主要元素（前一个屏幕截图）：

“Runs”（运行情况）下拉菜单包含您已执行的所有运行作业捕获的跟踪记录信息。默认视图是您最近查看的内容但您可以打开下拉菜单选择其他运行作业。
Tools 下拉菜单：选择不同的分析工具。
主机下拉菜单：选择包含 Cloud TPU 的主机。
时间轴窗格显示 Cloud TPU 和随时间推移不断执行的
“详细信息”窗格显示与操作相关的其他信息选择“时间轴”

以下是时间轴窗格的详细信息：

时间轴窗格包含以下元素：

顶栏包含各种辅助控件。
时间轴：显示相对于跟踪记录开始时的时间。
版块和轨道标签：每个版块包含多个轨道，并且一个三角形，点击该三角形便可展开和收起部分。系统中的每个处理元素都有一个版块。
工具选择器：包含各种用于 Trace Viewer。
事件 - 显示执行操作的时间，或元事件的时长，例如训练步数。
垂直标签页栏：此栏对 Cloud TPU 没有用处。此栏是 Chrome 提供的通用跟踪记录查看器工具的一部分用于各种性能分析任务中。

版块和跟踪记录

Trace Viewer 包含以下版块：

每个 TPU 节点有一个版块，版块标有 TPU 芯片的编号和芯片内的 TPU 核心（例如“Chip 2: TPU Core 1”）。每个 TPU 节点版块包含以下跟踪记录：
- 步：显示之前选择的训练步的时长在 TPU 上运行。
- TensorFlow 操作 - 显示在 TPU 上执行的 TensorFlow 操作。
- XLA 操作显示 XLA 在 TPU 上运行的多个操作的数量。（每个操作都会转换为一个或多个 XLA 操作。XLA 编译器会将这些 XLA 操作转换为在 TPU 上运行的代码。）
有一个部分针对在主机 CPU 上运行的线程 标记为“Host Threads”。对于每个 CPU 线程，此版块都包含一个跟踪记录。注意：您可以忽略版块标签旁边显示的信息。

时间轴工具选择器

您可以使用 TensorBoard 中的时间轴工具选择器与时间轴视图进行交互。点击时间轴工具以激活并突出显示该工具。如需移动时间轴工具选择器，请点击顶部的虚线区域，然后将选择器拖动到所需位置。

以下是各个时间轴工具的使用方法：

	选择工具点击事件可将其选中，拖动可选择多个事件。有关所选事件（名称、开始时间和时长）的更多信息将显示在“详细信息”窗格中。
	平移工具拖动可在水平和垂直方向平移时间轴视图。
	缩放工具沿水平（时间）轴方向，向上拖动可放大视图，向下拖动可缩小视图。鼠标光标的水平位置决定缩放操作的中心。注意：如果在您放开缩放工具后，缩放工具仍处于启用状态，鼠标按钮，点击时间轴视图可停用缩放工具。
	计时工具水平拖动可以标记时间间隔。间隔的时长会显示在时间轴上。如需调整间隔，请拖动其末端。如需清除间隔，可点击时间轴视图内的任意位置。如果您选择其他工具，间隔标记仍会保留。