将数据库从 Cloud Spanner 导出到 Avro

本页面介绍了如何使用 Google Cloud Console 导出 Cloud Spanner 数据库。

该流程使用 Dataflow,并将数据导出到 Cloud Storage 存储分区中的文件夹。生成的文件夹包含一组 Avro 文件和 JSON 清单文件。

要使用 REST API 或 gcloud 命令行工具导出 Cloud Spanner 数据库,请完成此页面上准备工作部分中的步骤,然后查看 Cloud Spanner 到 Cloud Storage Avro 中的详细说明。

准备工作

要导出 Cloud Spanner 数据库,首先需要启用 Cloud Spanner、Cloud Storage、Compute Engine 和 Dataflow API:

启用 API

此外,您还需要足够的配额和必要的 IAM 权限。

配额要求

Google Cloud 服务对导出作业的配额要求如下:

  • Cloud Spanner:导出数据库不需要额外节点,但您可能需要增加更多节点,以便在合理的时间内完成作业。如需了解详情,请参阅优化作业
  • Cloud Storage:要导出数据库,您必须为导出的文件创建存储分区(如果还没有的话)。您可以在 GCP Console 中执行此操作,通过 Cloud Storage 页面或在创建导出作业时通过 Cloud Spanner 页面皆可。您无需为存储分区设置大小。
  • Dataflow:导出作业与其他 Dataflow 作业具有相同的 CPU、磁盘用量和 IP 地址 Compute Engine 配额
  • Compute Engine:在运行导出作业之前,必须为 Compute Engine 设置初始配额,以供 Dataflow 使用。这些配额表示允许 Dataflow 针对作业使用的资源用量上限。建议使用以下初始值:

    • CPU 数:200
    • 使用中的 IP 地址数:200
    • 标准永久性磁盘:50 TB

    通常情况下,您不必进行其他调整。Dataflow 提供自动扩缩功能,因此您只需为导出期间实际使用的资源付费。如果您的作业可能会使用更多资源,Dataflow 界面会显示警告图标。出现警告图标不会影响作业的完成。

IAM 要求

要导出数据库,您还需要有具备足够权限的 IAM 角色,以便使用导出作业涉及的所有服务。如需了解有关授予角色和权限的信息,请参阅应用 IAM 角色

要导出数据库,您需要以下角色:

  • 在 Google Cloud 项目级层:
    • Cloud Spanner Viewer
    • Dataflow Admin
    • Storage Admin
  • 在 Cloud Spanner 数据库或实例级层,或在 Google Cloud 项目级层:
    • Cloud Spanner Reader
    • Cloud Spanner Database Admin(仅导入作业才需要)

导出数据库

满足上述配额和 IAM 要求后,您可以导出现有的 Cloud Spanner 数据库。

要将 Cloud Spanner 数据库导出到 Cloud Storage 存储分区,请执行以下步骤:

  1. 转到 Cloud Spanner 实例页面。

    转到实例页面

  2. 点击包含数据库的实例的名称。

  3. 点击左侧窗格中的导入/导出菜单项,然后点击导出按钮。

  4. 选择导出文件的存储位置下,点击浏览

  5. 如果您还没有用于导出的 Cloud Storage 存储分区,请执行以下操作:

    1. 点击新建存储分区 新的存储分区界面元素的屏幕截图
    2. 为存储分区输入名称。存储分区名称在 Cloud Storage 中必须是唯一的
    3. 选择默认存储类别和位置,然后点击创建
    4. 点击并选中存储分区。

    如果您已有存储分区,请从初始列表中选择存储分区,或点击搜索 搜索界面元素的屏幕截图 来过滤列表,然后点击并选中存储分区。

  6. 点击选择

  7. 选择要导出的数据库下拉菜单中选择要您导出的数据库。

  8. (可选)如需从较早的时间点导出数据库,请选中此复选框并输入时间戳。

  9. 为导出作业选择一个区域下拉菜单中选择一个区域。

  10. (可选)若要使用客户管理的加密密钥 对 Dataflow 流水线状态进行加密,请执行以下操作:

    1. 点击显示加密选项
    2. 选择使用客户管理的加密密钥 (CMEK)
    3. 从下拉列表中选择您的密钥。

    此选项不会影响目的地 Cloud Storage 存储分区层级加密。如需为 Cloud Storage 存储分区启用 CMEK,请参阅将 CMEK 与 Cloud Storage 搭配使用

  11. 选中确认费用下的复选框,确认您了解除现有 Cloud Spanner 节点产生的费用外,还存在其他费用。

  12. 点击导出

    Cloud Console 会显示数据库导入/导出页面,该页面现在会显示导入/导出作业列表中的导出作业的专列项,其中包括作业的已用时间:

    运行中作业的屏幕截图

作业完成或终止后,会在导入/导出列表中更新状态。如果作业成功,状态会显示为成功

导出作业成功消息

如果作业失败,则会显示失败状态:

导出作业失败消息

如需查看作业的 Dataflow 操作详细信息,请在 Dataflow 作业名称列中点击作业名称。

如果作业运行失败,请检查作业的 Dataflow 日志以获取关于错误的详细信息。

为避免失败的导出作业所创建的文件产生 Cloud Storage 费用,请删除该文件夹及其文件。如需了解如何找到此文件夹,请参阅查看导出

在 Cloud Storage 中查看导出

要在 Cloud Console 中查看包含导出的数据库的文件夹,请转到 Cloud Storage 浏览器,并点击您之前选择的存储分区:

转到 Cloud Storage 浏览器

该存储分区内现在存在一个包含导出的数据库的文件夹。此文件夹名称以实例的 ID、数据库名称和导出作业的时间戳开头。该文件夹包含以下内容:

  • 一个 spanner-export.json 文件
  • 您导出的数据库中每个表的 TableName-manifest.json 文件。
  • 一个或多个 TableName.avro-#####-of-##### 文件。扩展名 .avro-#####-of-##### 中的第一组数字表示 Avro 文件的索引(从零开始),第二组数字则表示为每个表生成的 Avro 文件的数量。

    例如,Songs.avro-00001-of-00002 表示包含 Songs 表数据的两个文件中的第二个文件。

为您的导出作业选择一个区域

您可能希望根据 Cloud Spanner 实例是使用单区域配置还是多区域配置来选择不同的区域。为避免产生出站网络流量费用,请选择与您的 Cloud Spanner 实例位置重叠的区域。

区域实例配置

如果您的 Cloud Spanner 实例配置是单区域,请为导出作业选择同一区域,以便免费使用同一区域内的出站流量。

如果同一区域不可用,则出站流量将收费。请参阅 Cloud Spanner 出站网络流量价格,选择出站网络流量费用最低的区域。

多区域实例配置

如果您的 Cloud Spanner 实例配置是多区域,请选择构成多区域配置中的一个区域,以便免费使用同一区域内的出站流量。

如果没有重叠区域可用,则出站流量将收费。请参阅 Cloud Spanner 出站网络流量价格,选择出站网络流量费用最低的区域。

在 Dataflow 界面中查看作业或对作业进行问题排查

启动导出作业后,您可以在 Cloud Console 中的 Dataflow 部分中查看作业的详细信息,包括日志。

查看 Dataflow 作业的详细信息

如需查看过去一周内运行的任何导入/导出作业(包括当前正在运行的任何作业)的详细信息,请执行以下操作:

  1. 转到数据库的数据库概览页面。
  2. 点击左侧窗格中的导入/导出菜单项。数据库导入/导出页面会显示最近的作业列表。
  3. 在数据库导入/导出页面中,点击 Dataflow 作业名称列中的作业名称:

    运行中作业的状态消息

    Cloud Console 将显示 Dataflow 作业的详细信息。

如需查看超过一周前运行的作业,请执行以下操作:

  1. 转到 Cloud Console 的 Dataflow 作业页面。

    转到作业页面

  2. 在列表中找到您的作业,然后点击其名称。

    Cloud Console 将显示 Dataflow 作业的详细信息。

查看作业的 Dataflow 日志

如需查看 Dataflow 作业的日志,请按上文所述转到作业的详细信息页面,然后点击作业名称右侧的日志

如果作业失败,请查看日志了解错误。如果有错误,日志旁边会显示错误计数:

“日志”按钮旁边的错误计数示例

如需查看作业错误,请执行以下操作:

  1. 点击日志旁边的错误计数。

    Cloud Console 将显示作业的日志。您可能需要向下滚动才能看到错误。

  2. 找到带错误图标 “错误”图标 的条目。

  3. 点击各个日志条目以展开其内容。

如需详细了解如何对 Dataflow 作业进行问题排查,请参阅排查流水线问题

排查导入作业失败问题

如果您在作业日志中看到以下错误,请执行以下操作:

com.google.cloud.spanner.SpannerException: NOT_FOUND: Session not found

--or--

com.google.cloud.spanner.SpannerException: DEADLINE_EXCEEDED: Deadline expired before operation could complete.

在 Cloud Console 中,查看 Cloud Spanner 数据库的 Monitoring 标签页中的 99% 读取延迟时间 (99% Read latency)。如果显示的值较大(几秒钟),则表示实例已过载,导致读取超时并失败。

高延迟的一个原因是 Dataflow 作业运行时使用的工作器过多,导致 Cloud Spanner 实例负载过高。

要指定 Dataflow 工作器数量的限制,您必须使用 Dataflow Cloud Spanner to Cloud Storage Avro 模板(而不是使用 Cloud Console 中 Cloud Spanner 数据库的实例详情页面中的导入/导出标签页),并指定最大工作器数量,如下所述:
  • 如果您使用的是 Dataflow 控制台,则工作器数量上限参数位于基于模板创建作业页面上的可选参数部分。

  • 如果您使用的是 gcloud,请指定 max-workers 参数。例如:

    gcloud dataflow jobs run my-export-job \
    --gcs-location='gs://dataflow-templates/latest/Cloud_Spanner_to_GCS_Avro' \
    --region=us-central1 \
    --parameters='instanceId=test-instance,databaseId=example-db,outputDir=gs://my-gcs-bucket' \
    --max-workers=10
    

工作器的数量上限与数据大小密切相关,但理想情况下,Spanner 的总 CPU 利用率应在 70% 到 90% 之间。这可以实现 Spanner 效率和无错误地完成作业之间的良好平衡。

如需在大多数架构/场景中实现该利用率目标,我们建议最大工作器 vCPU 数量在 Spanner 节点数量的 4-6 倍之间。

例如,对于使用 n1-standard-2 工作器的 10 个节点 spanner 实例,您需要将最大工作器数量设置为 25 个,从而提供 50 个 vCPU。

优化运行缓慢的导出作业

如果您遵循了初始设置中的建议,则通常不必进行任何其他调整。如果作业运行缓慢,则可以尝试以下优化操作:

  • 优化作业和数据位置选择:在 Cloud Spanner 实例和 Cloud Storage 存储分区所在的同一区域中运行 Dataflow 作业。

  • 确保有足够的 Dataflow 资源:如果相关的 Compute Engine 配额限制了您的 Dataflow 作业的资源,则 Google Cloud Console 中该作业的 Dataflow 页面会显示警告图标 警告图标 和日志消息:

    配额限制警告的屏幕截图

    在这种情况下,为 CPU、使用中的 IP 地址和标准永久性磁盘增加配额或许可以缩短作业的运行时间,但可能会因此产生更多的 Compute Engine 费用。

  • 检查 Cloud Spanner CPU 使用率:如果您发现某个实例的 CPU 使用率超过 65%,则可以为该实例增加节点。额外的节点会增加更多 Cloud Spanner 资源,从而加快作业的运行速度,但也会因此产生更多的 Cloud Spanner 费用。

影响导出作业性能的因素

以下几个因素会影响完成导出作业所需的时间。

  • Cloud Spanner 数据库大小:处理更多数据需要更多时间和资源。

  • Cloud Spanner 数据库架构:表的数量、行的大小、二级索引的数量以及外键的数量会影响运行导出作业所需的时间。

  • 数据位置:数据使用 Dataflow 在 Cloud Spanner 和 Cloud Storage 之间传输。理想情况下,这三个组件全都位于同一区域。如果这些组件不在同一区域,则跨区域移动数据会减慢作业运行速度。

  • Dataflow 工作器的数量:Dataflow 根据需要完成的工作量使用自动扩缩为作业选择工作器数量。但是,工作器数量会受到 CPU、使用中的 IP 地址和标准永久性磁盘的配额的限制。如果工作器数量达到配额上限,Dataflow 界面中会显示一个警告图标。在这种情况下,运行速度会减慢,但作业仍会完成。

  • Cloud Spanner 上的现有负载:导出作业通常会在 Cloud Spanner 实例上增加少量负载。如果该实例原本已有大量负载,则作业的运行速度会较慢。

  • Cloud Spanner 节点数:如果实例的 CPU 使用率超过 65%,则作业的运行速度会较慢。