备份 Dataproc Metastore 服务

本页介绍了如何创建 Dataproc Metastore 服务的备份。

备份会为您的服务创建快照，并保存其当前配置设置和所有存储的元数据。

创建备份后，您可以使用从备份恢复功能，将快照中保存的数据填充到新的 Dataproc Metastore 服务中。

准备工作

所需的角色

如需获得备份 Dataproc Metastore 服务所需的权限，请让您的管理员为您授予以下 IAM 角色：

  • 如需授予对 Dataproc Metastore 资源的完全控制权以完成备份，请执行以下操作之一：
  • 如需授予对数据库和表的特定元数据的读取和修改权限，请使用元数据服务中的 Dataproc Metastore Metadata Operator (roles/metastore.metadataOperator)：
  • 如需使用用于存储定期备份的 Cloud Storage 对象，请为 Dataproc Metastore 服务代理授予 Cloud Storage 对象用户 (roles/storage.objectUser) 权限

如需详细了解如何授予角色，请参阅管理对项目、文件夹和组织的访问权限。

这些预定义角色包含备份 Dataproc Metastore 服务所需的权限。如需查看所需的确切权限，请展开所需权限部分：

所需权限

如需备份 Dataproc Metastore 服务，您需要具备以下权限：

  • 如需备份元数据服务，请执行以下操作： metastore.backups.create
  • 如需使用 Cloud Storage 对象，请执行以下操作：
    • orgpolicy.policy.get
    • resourcemanager.projects.get
    • resourcemanager.projects.list
    • storage.managedFolders.create
    • storage.managedFolders.delete
    • storage.managedFolders.get
    • storage.managedFolders.list
    • storage.multipartUploads.*
    • storage.objects.create
    • storage.objects.delete
    • storage.objects.get
    • storage.objects.list
    • storage.objects.restore
    • storage.objects.update

您也可以使用自定义角色或其他预定义角色来获取这些权限。

如需详细了解特定 Dataproc Metastore 角色和权限，请参阅 Dataproc Metastore IAM 概览。

备份注意事项

在运行备份操作之前，请注意以下注意事项：

  • 对于每个 Dataproc Metastore 服务，您一次最多可以创建和存储 7 个备份。如果您尝试备份超过 7 次，备份流程将会失败。如果您想创建其他备份，则必须先手动删除其中一个已存备份文件。
  • 备份操作运行期间，您无法更新 Dataproc Metastore 服务，例如，您无法更改配置设置。不过，您仍然可以使用该服务执行正常操作，例如访问关联的 Dataproc 或自行管理的集群中的元数据。
  • 您可以创建按各种 Cron 间隔（例如每天）运行的定期备份。

创建备份

如需备份 Dataproc Metastore 服务，请完成以下任一标签页中的步骤：

控制台

  1. 在 Google Cloud 控制台中，打开 Dataproc Metastore 页面：

    打开 Dataproc Metastore

  2. 在 Dataproc Metastore 页面上，点击要备份的服务的名称。

    服务详细信息页面会打开。

    “服务详细信息”页面
    图 1. Dataproc Metastore 服务详情页面

  3. 点击页面顶部的备份。

    系统随即会打开备份页面。

  4. 输入备份名称。

  5. 可选：输入备份的说明。

  6. 如需开始备份操作，请点击备份。

    返回 Dataproc Metastore 页面，并确认您的服务已成功备份。

    备份完成后，无论备份是否成功，Dataproc Metastore 都会自动返回活跃状态。

gcloud CLI

  1. 如需备份 Dataproc Metastore 服务，请运行以下 gcloud metastore services backups create 命令：

    gcloud metastore services backups create BACKUP \
    --location=LOCATION \
    --service=SERVICE \
    --description=DESCRIPTION

    替换以下内容：

    • BACKUP：备份的 ID 或完全限定的标识符。
    • LOCATION：您的 Dataproc Metastore 服务所在的 Google Cloud 区域。
    • SERVICE：您的 Dataproc Metastore 服务的名称。
    • DESCRIPTION：备份的说明。

  2. 验证您的服务是否已成功备份。

    备份完成后，无论备份是否成功，Dataproc Metastore 都会自动返回活跃状态。

REST

使用 API Explorer 按照 API 说明从服务备份元数据。

备份完成后，无论备份是否成功，Dataproc Metastore 都会自动返回活跃状态。

查看备份历史记录

如需在 Google Cloud 控制台中查看 Dataproc Metastore 服务的备份历史记录，请完成以下步骤：

  1. 在 Google Cloud 控制台中，打开 Dataproc Metastore 页面。

  2. 在导航栏中，点击备份/恢复。

    您的备份历史记录会显示在备份下方的表格中。

    历史记录最多显示最近的 7 个备份。

    删除 Dataproc Metastore 服务也会删除所有关联的备份历史记录。

删除备份

如需在 Google Cloud 控制台中删除 Dataproc Metastore 备份，请完成以下步骤：

  1. 在 Google Cloud 控制台中，打开 Dataproc Metastore 页面。
  2. 在导航栏中，点击备份/恢复。
  3. 找到要删除的备份，然后点击“设置”按钮。
  4. 点击删除。

安排备份

您可以安排备份在用户指定的 cron 作业间隔（包括每天、每周或每月）运行。Cron 时间表使用 unix-cron 字符串格式 (* * * * *)，该格式是一行中五个字段的集合，指示应何时执行作业。

例如，您可以设置自定义间隔时间，以便每周创建一次备份，例如每周三下午 2:00（美国太平洋标准时间）创建一次备份。

定期备份注意事项

  • 安排的备份需要指定备份位置，该位置必须是 Cloud Storage 路径。
  • 安排的备份始终采用 Avro 文件格式。
  • 默认情况下，定期备份会配置为使用世界协调时间 (UTC) 时区。您可以在首次创建备份时更改时区。
  • 您可以将定期备份设置为每小时、每天、每周或每月运行一次。您可以设置的最短小时间隔为 4 小时。

创建定期备份

您可以在首次创建服务时设置备份时间表，也可以在以后更新服务时添加备份时间表。

如需创建具有定期备份的 Dataproc Metastore 服务 2，请完成以下任一标签页中的步骤：

控制台

  1. 在 Google Cloud 控制台中，打开 Dataproc Metastore 页面。

  2. 在 Dataproc Metastore 页面顶部，点击创建按钮。

    此时会打开创建服务页面。

  3. 选择 Dataproc Metastore 2。

  4. 在计划备份下，将切换开关设置为启用。

  5. 在位置下，选择要存储定期备份的 Cloud Storage 位置。

  6. 可选：在“时间表”下，选择以下各项：

    1. 在重复部分中，选择重复频率，例如每天或每周。
    2. 在时间中，选择重复时间，例如凌晨 12:00。
    3. 在时区中，选择适当的时区，例如 UTC-8。

  7. 对于其余服务配置选项，请使用提供的默认值。

  8. 点击提交。

gcloud CLI

  1. 如需安排 Dataproc Metastore 服务的备份，请运行以下 gcloud metastore services backups create 命令：

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --enable-scheduled-backup \
   --scheduled-backup-cron=SCHEDULED_BACKUP_CRON \
   --scheduled-backup-location=SCHEDULED_BACKUP_LOCATION

    替换以下内容：

    • SERVICE：备份的 ID 或完全限定的标识符。
    • LOCATION：您的 Dataproc Metastore 服务所在的 Google Cloud 区域。
    • SCHEDULED_BACKUP_CRON：备份频率，以 cron 时间格式指定。例如，如果 Cron 值为 0 0 * * *，则会安排每天进行一次备份。
    • SCHEDULED_BACKUP_LOCATION：备份的 Cloud Storage 位置。例如：gs://my-bucket/path/to/location。

    或

    您还可以通过将上述值存储在配置文件中来安排备份：

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --scheduled-backup-configs-from-file=SCHEDULED_BACKUP_CONFIGS_FROM_FILE

    替换以下内容：

    • SCHEDULED_BACKUP_CONFIGS_FROM_FILE：包含备份配置值 enabled、cront_schedule、time_zone 和 backup_location 的 JSON 文件的路径。

    以下示例展示了一个备份配置文件，该文件用于启用定期备份、将备份时间表设为每小时一次、将时区指定为 PST，并将备份位置定义为 Cloud Storage 存储桶。您可以从常用 tz 数据库时区列表中选择时区。

    {
"enabled": true,
"cron_schedule": "0 0 * * *",
"time_zone": "PST",
"backup_location": "gs://my-bucket/path/to/location"
}

REST

按照 API 说明使用 API Explorer 创建定期备份。

更新定期备份

如需更新配置了定期备份的 Dataproc Metastore 服务 2，请完成以下任一标签页中的步骤：

控制台

  1. 在 Google Cloud 控制台中，打开 Dataproc Metastore 页面。

  2. 在 Dataproc Metastore 页面上，点击您要为其安排备份的服务的名称。

  3. 在计划备份下，将切换开关设置为已启用。

  4. 在位置下，选择要存储定期备份的 Cloud Storage 位置。

  5. 可选：在时间表下，为以下字段选择值：

    1. 在重复部分中，选择重复频率，例如每天或每周。
    2. 在时间中，选择重复时间，例如凌晨 12:00。
    3. 在时区中，选择适当的时区，例如 UTC-8。

gcloud CLI

  1. 如需安排 Dataproc Metastore 服务的备份，请运行以下 gcloud metastore services backups update 命令：

    gcloud metastore services update SERVICE \
   --location=LOCATION \
   --enable-scheduled-backup \
   --scheduled-backup-cron=SCHEDULED_BACKUP_CRON \
   --scheduled-backup-location=SCHEDULED_BACKUP_LOCATION \

    替换以下内容：

    • SERVICE：定期备份的 ID 或完全限定标识符。
    • LOCATION：您的 Dataproc Metastore 服务所在的 Google Cloud 区域。
    • SCHEDULED_BACKUP_CRON：备份频率，以 cron 时间格式指定。例如，如果 Cron 值为 0 0 * * *，则会安排每天进行一次备份。
    • SCHEDULED_BACKUP_LOCATION：定期备份的 Cloud Storage 位置。例如：gs://my-bucket/path/to/location。

    您还可以使用存储在配置文件中的上述值更新定期备份：

    gcloud metastore services update SERVICE \
   --location=LOCATION \
   --scheduled-backup-configs-from-file=SCHEDULED_BACKUP_CONFIGS_FROM_FILE

    替换以下内容：

    • SCHEDULED_BACKUP_CONFIGS_FROM_FILE：包含备份配置的 JSON 文件的路径。

    以下示例显示了用于停用定期备份的备份配置文件。

    {
"enabled": false,
}

REST

按照 API 说明使用 API Explorer 更新定期备份。

查看预定的备份

如需查看配置了定期备份的 Dataproc Metastore 服务 2，请完成以下任一标签页中的步骤：

控制台

  1. 在 Google Cloud 控制台中，打开 Dataproc Metastore 页面。

  2. 点击页面顶部的备份。

    系统随即会打开备份页面，并显示您安排的备份。请注意，备份实际上存储在您在定期备份配置中提供的 Cloud Storage 存储桶中。

gcloud CLI

  1. 运行以下 gcloud storage ls 命令：

    gcloud storage ls gs://BUCKET_NAME/SERVICE/LOCATION

    替换以下内容：

    • BUCKET_NAME：存储您要查看的定期备份的 Cloud Storage 存储桶的路径。
    • SERVICE：定期备份的 ID 或完全限定标识符。
    • LOCATION：您的 Dataproc Metastore 服务所在的 Google Cloud 区域。

REST

按照 API 说明使用 API Explorer 查看定期备份。

排查常见问题

后续步骤