备份 Dataproc Metastore 服务

本页面介绍了如何创建 Dataproc Metastore 服务的备份。

备份功能会截取服务快照，以保存其当前配置设置和所有存储的元数据。

创建备份后，您可以使用从备份恢复功能，将快照中保存的数据填充到新的 Dataproc Metastore 服务。

准备工作

所需的角色

如需获取备份 Dataproc Metastore 服务所需的权限，请让管理员授予您以下 IAM 角色：

  • 要授予对 Dataproc Metastore 资源的完全控制权以完成备份，请执行以下任一操作：
  • 如需授予对数据库和表的特定元数据的读取和修改权限，请针对元数据服务执行以下操作：Dataproc Metastore Metadata Operator (roles/metastore.metadataOperator)
  • 如需使用存储计划备份的 Cloud Storage 对象，请执行以下操作： Dataproc Metastore 服务代理上的 Cloud Storage Object User (roles/storage.objectUser)

如需详细了解如何授予角色，请参阅管理访问权限。

这些预定义角色包含备份 Dataproc Metastore 服务所需的权限。如需查看所需的确切权限，请展开所需权限部分：

所需权限

备份 Dataproc Metastore 服务需要以下权限：

  • 如需备份元数据服务，请执行以下操作： metastore.backups.create
  • 如需使用 Cloud Storage 对象，请执行以下操作：
    • orgpolicy.policy.get
    • resourcemanager.projects.get
    • resourcemanager.projects.list
    • storage.managedFolders.create
    • storage.managedFolders.delete
    • storage.managedFolders.get
    • storage.managedFolders.list
    • storage.multipartUploads.*
    • storage.objects.create
    • storage.objects.delete
    • storage.objects.get
    • storage.objects.list
    • storage.objects.restore
    • storage.objects.update

您也可以使用自定义角色或其他预定义角色来获取这些权限。

如需详细了解特定 Dataproc Metastore 角色和权限，请参阅 Dataproc Metastore IAM 概览。

备份注意事项

在运行备份操作之前，请注意以下事项：

  • 对于每项 Dataproc Metastore 服务，您一次最多可以创建和存储七个备份。如果您尝试超过 7 个备份，备份过程将失败。如果要再创建一个备份，则必须先手动删除存储的一个备份文件。
  • 备份操作正在运行时，您无法更新 Dataproc Metastore 服务，例如，您无法更改配置设置。但是，您仍然可以使用您的服务执行正常操作，例如从挂接的 Dataproc 或自行管理的集群访问元数据。
  • 您可以创建按各种 Cron 时间间隔（例如每天）运行的计划备份。

创建备份

要备份 Dataproc Metastore 服务，请完成以下任一标签页中的步骤：

控制台

  1. 在 Google Cloud 控制台中，打开 Dataproc Metastore 页面：

    打开 Dataproc Metastore

  2. 在 Dataproc Metastore 页面上，点击您要备份的服务的名称。

    服务详细信息页面会打开。

    “服务详细信息”页面
    图 1.Dataproc Metastore 服务详情页面

  3. 点击页面顶部的备份。

    系统随即会打开备份页面。

  4. 输入备份名称。

  5. 可选：输入备份的说明。

  6. 如需开始备份操作，请点击备份。

    返回 Dataproc Metastore 页面，并验证您的服务是否已成功备份。

    备份完成后，无论备份是否成功，Dataproc Metastore 都会自动返回到活动状态。

gcloud CLI

  1. 如需备份 Dataproc Metastore 服务，请运行以下 gcloud metastore services backups create 命令：

    gcloud metastore services backups create BACKUP \
    --location=LOCATION \
    --service=SERVICE \
    --description=DESCRIPTION

    请替换以下内容：

    • BACKUP：备份的 ID 或完全限定标识符。
    • LOCATION：Dataproc Metastore 服务所在的 Google Cloud 区域。
    • SERVICE：Dataproc Metastore 服务的名称。
    • DESCRIPTION：备份的说明。

  2. 验证您的服务是否已成功备份。

    备份完成后，无论备份是否成功，Dataproc Metastore 都会自动返回到活动状态。

REST

按照 API 说明使用 APIs Explorer 备份服务中的元数据。

备份完成后，无论备份是否成功，Dataproc Metastore 都会自动返回到活动状态。

查看备份历史记录

如需在 Google Cloud 控制台中查看 Dataproc Metastore 服务的备份历史记录，请完成以下步骤：

  1. 在 Google Cloud 控制台控制台中，打开 Dataproc Metastore 页面。

  2. 在导航栏中，点击备份/还原。

    您的备份历史记录会显示在备份下的表格中。

    历史记录最多显示最新的 7 个备份。

    删除 Dataproc Metastore 服务也会删除所有关联的备份历史记录。

删除备份

如需在 Google Cloud 控制台中删除 Dataproc Metastore 备份，请完成以下步骤：

  1. 在 Google Cloud 控制台中，打开 Dataproc Metastore 页面。
  2. 在导航栏中，点击备份/还原。
  3. 找到您要删除的备份，然后点击设置按钮。
  4. 点击删除。

安排备份

备份可以安排为用户指定的 Cron 作业间隔运行，包括每日、每周或每月运行。Cron 时间表使用 unix-cron 字符串格式 (* * * * *)，即每行包含五个字段，用于指示应在何时执行作业。

例如，您可以设置自定义时间间隔来每周创建备份，例如在每周三下午 2:00（太平洋标准时间）创建备份。

计划备份注意事项

  • 计划备份需要指定备份位置，该位置必须是 Cloud Storage 路径。
  • 计划备份始终以 Avro 文件格式创建。
  • 默认情况下，计划备份采用世界协调时间 (UTC) 时区配置。首次创建备份时，您可以更改时区。
  • 计划备份可以设置为每小时、每天、每周或每月运行一次。您可以设置的最短每小时间隔为 4 小时。

创建计划备份

备份时间表可在首次创建服务时设置，也可稍后在更新服务时添加。

如需创建具有计划备份的 Dataproc Metastore 服务 2，请完成以下任一标签页中的步骤：

控制台

  1. 在 Google Cloud 控制台中，打开 Dataproc Metastore 页面。

  2. 在 Dataproc Metastore 页面顶部，点击创建按钮。

    此时会打开创建服务页面。

  3. 选择 Dataproc Metastore 2。

  4. 在计划备份下，将开关设置为启用。

  5. 在位置下，选择要存储计划备份的 Cloud Storage 位置。

  6. 可选：在“时间安排”下，选择以下选项：

    1. 在重复部分，选择重复周期，例如每日或每周。
    2. 在时间部分，选择重复发生的时间，例如凌晨 12:00。
    3. 在时区部分，选择适当的时区，例如 UTC-8。

  7. 对于其余服务配置选项，请使用提供的默认值。

  8. 点击提交。

gcloud CLI

  1. 如需安排 Dataproc Metastore 服务的备份，请运行以下 gcloud metastore services backups create 命令：

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --enable-scheduled-backup \
   --scheduled-backup-cron=SCHEDULED_BACKUP_CRON \
   --scheduled-backup-location=SCHEDULED_BACKUP_LOCATION

    请替换以下内容：

    • SERVICE：备份的 ID 或完全限定标识符。
    • LOCATION：您的 Dataproc Metastore 服务所在的 Google Cloud 区域。
    • SCHEDULED_BACKUP_CRON：备份的频率，采用 Cron 时间格式指定。例如，Cron 值 0 0 * * * 可安排每日备份。
    • SCHEDULED_BACKUP_LOCATION：备份的 Cloud Storage 位置。例如：gs://my-bucket/path/to/location。

    或

    您还可以通过将上述值存储在配置文件中来安排备份：

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --scheduled-backup-configs-from-file=SCHEDULED_BACKUP_CONFIGS_FROM_FILE

    请替换以下内容：

    • SCHEDULED_BACKUP_CONFIGS_FROM_FILE：包含备份配置值 enabled、cront_schedule、time_zone 和 backup_location 的 JSON 文件的路径。

    以下示例展示了一个备份配置文件，该文件启用计划备份，将备份时间表设置为每小时，将时区指定为 PST，并将备份位置定义为 Cloud Storage 存储桶。您可以从常用的 tz 数据库时区列表中选择时区。

    {
"enabled": true,
"cron_schedule": "0 0 * * *",
"time_zone": "PST",
"backup_location": "gs://my-bucket/path/to/location"
}

REST

按照 API 说明使用 API Explorer 创建计划备份。

更新计划备份

如需更新配置了计划备份的 Dataproc Metastore 服务 2，请完成以下任一标签页中的步骤：

控制台

  1. 在 Google Cloud 控制台中，打开 Dataproc Metastore 页面。

  2. 在 Dataproc Metastore 页面上，点击要为其安排备份的服务的名称。

  3. 在计划备份下，将开关设置为已启用。

  4. 在位置下，选择要存储计划备份的 Cloud Storage 位置。

  5. 可选：在时间安排下，为以下字段选择值：

    1. 在重复部分，选择重复周期，例如每日或每周。
    2. 在时间部分，选择重复发生的时间，例如凌晨 12:00。
    3. 在时区部分，选择适当的时区，例如 UTC-8。

gcloud CLI

  1. 如需安排 Dataproc Metastore 服务的备份，请运行以下 gcloud metastore services backups update 命令：

    gcloud metastore services update SERVICE \
   --location=LOCATION \
   --enable-scheduled-backup \
   --scheduled-backup-cron=SCHEDULED_BACKUP_CRON \
   --scheduled-backup-location=SCHEDULED_BACKUP_LOCATION \

    请替换以下内容：

    • SERVICE：计划备份的 ID 或完全限定标识符。
    • LOCATION：Dataproc Metastore 服务所在的 Google Cloud 区域。
    • SCHEDULED_BACKUP_CRON：备份的频率，采用 Cron 时间格式指定。例如，Cron 值 0 0 * * * 可安排每日备份。
    • SCHEDULED_BACKUP_LOCATION：计划备份的 Cloud Storage 位置。例如：gs://my-bucket/path/to/location。

    您还可以使用配置文件中存储的上述值更新计划备份：

    gcloud metastore services update SERVICE \
   --location=LOCATION \
   --scheduled-backup-configs-from-file=SCHEDULED_BACKUP_CONFIGS_FROM_FILE

    请替换以下内容：

    • SCHEDULED_BACKUP_CONFIGS_FROM_FILE：包含备份配置的 JSON 文件的路径。

    以下示例展示了停用计划备份的备份配置文件。

    {
"enabled": false,
}

REST

按照 API 说明使用 API Explorer 更新计划备份。

查看计划备份

如需查看配置了计划备份的 Dataproc Metastore 服务 2，请完成以下任一标签页中的步骤：

控制台

  1. 在 Google Cloud 控制台中，打开 Dataproc Metastore 页面。

  2. 点击页面顶部的备份。

    备份页面随即会打开并显示您已安排的备份。请注意，备份实际存储在您在计划备份配置中提供的 Cloud Storage 存储桶中。

gcloud CLI

  1. 运行以下 gsutil ls 命令：

    gsutil ls gs://BUCKET_NAME/SERVICE/LOCATION

    请替换以下内容：

    • BUCKET_NAME：指向 Cloud Storage 存储桶（用于存储您要查看的计划备份）的路径。
    • SERVICE：计划备份的 ID 或完全限定标识符。
    • LOCATION：Dataproc Metastore 服务所在的 Google Cloud 区域。

REST

按照 API 说明使用 API Explorer 查看计划备份。

排查常见问题

后续步骤