从备份中恢复 Dataproc Metastore

本页介绍了如何从备份恢复 Dataproc Metastore 服务。

备份是配置设置以及存储在 Dataproc Metastore 服务。您可以使用恢复功能,使用之前保存在备份中的数据快速设置新的 Dataproc Metastore 服务。

准备工作

所需的角色

要获取使用备份恢复 Dataproc Metastore 服务所需的权限, 请让管理员授予您 以下 IAM 角色:

  • 如需授予对 Dataproc Metastore 资源的完全控制权以完成备份,请执行以下操作之一:
  • 如需使用存储计划备份的 Cloud Storage 对象,请执行以下操作: Cloud Storage 对象用户 (roles/storage.objectUser) 在 Dataproc Metastore 服务代理上

如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限

这些预定义角色包含 拥有使用备份恢复 Dataproc Metastore 服务所需的权限。如需查看所需的确切权限,请展开所需权限部分:

所需权限

如需从备份恢复 Dataproc Metastore 服务,您需要具备以下权限:

  • 如需恢复元数据服务,请执行以下操作: metastore.services.restore, metastore.backups.use
  • 如需使用 Cloud Storage 对象,请执行以下操作:
    • orgpolicy.policy.get
    • resourcemanager.projects.get
    • resourcemanager.projects.list
    • storage.managedFolders.create
    • storage.managedFolders.delete
    • storage.managedFolders.get
    • storage.managedFolders.list
    • storage.multipartUploads.*
    • storage.objects.create
    • storage.objects.delete
    • storage.objects.get
    • storage.objects.list
    • storage.objects.restore
    • storage.objects.update

您也可以使用自定义角色或其他预定义角色来获取这些权限。

如需详细了解特定 Dataproc Metastore 角色和权限,请参阅 Dataproc Metastore IAM 概览

关于使用备份进行恢复

从备份恢复服务时,您可以选择以下任一选项:

  • 恢复备份中保存的所有元数据和配置设置。
  • 恢复所有元数据,但不恢复保存在 备份。您的服务会保留当前的配置设置。

    配置设置包括 Dataproc Metastore 参数,例如服务名称、端口号和网络设置。元数据包括存储在一个 Dataproc Metastore 服务。

注意事项

  • 恢复操作正在运行时,您无法更新自己的 服务 - 例如,您无法更改配置设置。不过,您 仍可使用您的服务进行正常操作,例如通过该服务访问 从挂接的 Dataproc 或自行管理的集群中复制其元数据。

  • 不会恢复 Dataproc Metastore 标签。

  • 系统不会恢复存储在仓库目录中的数据。

  • 使用备份进行恢复时,不会恢复或替换精细控制项 IAM 政策。

  • 若要从定期备份进行恢复,您的备份必须位于 Cloud Storage 存储桶中。

使用备份进行恢复

如需从备份恢复 Dataproc Metastore 服务,请完成以下步骤。

  • 如果您使用的是 Google Cloud 控制台,则只能从与新服务位于同一项目和区域的备份恢复元数据。

  • 如果您使用 Google Cloud CLI 或 Dataproc Metastore API, 您可以从在其他项目中创建的备份恢复元数据,并且 区域(跨服务备份)。

控制台

  1. 在 Google Cloud 控制台中,打开 Dataproc Metastore 页面:

    打开 Dataproc Metastore

  2. Dataproc Metastore 页面上,点击相应服务的名称 您想要从备份中恢复的数据。

    服务详细信息页面会打开。

    “服务详细信息”页面
    图 1. Dataproc Metastore 服务详情页面
  3. 如需查看备份,请点击备份/恢复标签页。

  4. 选择您要使用的备份。要执行此操作,请点击“菜单”图标 并选择 恢复

    系统随即会打开恢复页面。

    您也可以在备份详情页面上恢复服务。为此,请点击备份的名称,然后点击恢复

  5. 选择适当的恢复操作:

    • 恢复 Metastore 数据。恢复所有元数据,但不会恢复备份中保存的配置设置
    • 恢复 Metastore 数据和服务配置。 恢复所有元数据和 备份。
  6. 如需更新服务,请点击恢复

    返回 Dataproc Metastore 页面,并确认您的服务已成功备份。

    恢复完成后,无论恢复是否成功,Dataproc Metastore 都会自动返回活跃状态

gcloud CLI

  1. 如需恢复 Dataproc Metastore 服务,请运行以下 gcloud metastore services restore 命令:

    gcloud metastore services restore SERVICE  \
        --project=PROJECT_ID \
        --location=LOCATION \
        --backup=BACKUP \
        --restore-type=RESTORE_TYPE \
        --backup-location=BACKUP_LOCATION
    

    替换以下内容:

    • SERVICE:您的 Dataproc Metastore 服务。
    • PROJECT_ID:您的 Dataproc Metastore 服务所在的 Google Cloud 项目的项目 ID。
    • LOCATION:您的 Google Cloud Storage 存储区域 Dataproc Metastore 服务。
    • BACKUP(可选):备份文件的标识符 数据来源。该值可以是备份 ID, 限定网址或以下格式的相对名称: projects/{project_id}/locations/{location_id}/services/{service_id}/backups/{backup_id}
    • RESTORE_TYPE:要执行的恢复操作类型。可接受的值包括 metadata-onlyfull。默认值 为 metadata-only
    • BACKUP_LOCATION(可选):Cloud Storage 安排的备份的位置。 例如:gs://my-bucket/path/to/location
  2. 验证恢复操作是否成功。

    恢复完成后,Dataproc Metastore 将 设备会自动恢复为活动状态,而不管其是否 表示是否恢复成功

REST

按照 API 说明使用 APIs Explorer 将元数据恢复到服务中

恢复完成后,无论恢复是否成功,Dataproc Metastore 都会自动返回活跃状态

查看恢复历史记录

要在以下位置查看 Dataproc Metastore 服务的恢复历史记录 Google Cloud 控制台,请完成以下步骤:

  1. 在 Google Cloud 控制台控制台中,打开 Dataproc Metastore 页面。
  2. 在导航栏中,点击备份/恢复

    您的恢复历史记录会显示在恢复下方的表格中。

    历史记录最多显示您已完成的最近 25 次恢复操作。

    删除 Dataproc Metastore 服务也会删除所有关联的恢复历史记录。

排查常见问题

后续步骤