本页面介绍了如何恢复 Dataproc Metastore 服务 从备份恢复。
备份是以下项中所存储的配置设置和元数据的快照: Dataproc Metastore 服务。您可以使用恢复功能 快速设置新的 Dataproc Metastore 服务 之前保存在备份中的数据
准备工作
所需的角色
要获取使用备份恢复 Dataproc Metastore 服务所需的权限, 请让管理员授予您 以下 IAM 角色:
-
要授予对 Dataproc Metastore 资源的完全控制权以完成备份,请执行以下任一操作:
-
Dataproc Metastore Editor (
roles/metastore.editor
) 元数据服务上的资源 -
Dataproc Metastore Administrator (
roles/metastore.admin
) 项目级别
-
Dataproc Metastore Editor (
-
如需使用存储计划备份的 Cloud Storage 对象,请执行以下操作:
Cloud Storage 对象用户 (
roles/storage.objectUser
) 在 Dataproc Metastore 服务代理上
如需详细了解如何授予角色,请参阅管理访问权限。
这些预定义角色包含 拥有使用备份恢复 Dataproc Metastore 服务所需的权限。如需查看所需的确切权限,请展开所需权限部分:
所需权限
要从备份中恢复 Dataproc Metastore 服务,需要以下权限:
-
如需恢复元数据服务,请执行以下操作:
metastore.services.restore, metastore.backups.use
-
如需使用 Cloud Storage 对象,请执行以下操作:
-
orgpolicy.policy.get
-
resourcemanager.projects.get
-
resourcemanager.projects.list
-
storage.managedFolders.create
-
storage.managedFolders.delete
-
storage.managedFolders.get
-
storage.managedFolders.list
-
storage.multipartUploads.*
-
storage.objects.create
-
storage.objects.delete
-
storage.objects.get
-
storage.objects.list
-
storage.objects.restore
-
storage.objects.update
-
关于使用备份进行恢复
使用备份恢复服务时,您可以选择以下其中一项 选项:
- 恢复备份中保存的所有元数据和配置设置。
恢复所有元数据,但不恢复保存在 备份。您的服务会保留当前的配置设置。
配置设置包括 Dataproc Metastore 参数 例如服务名称、端口号和网络设置 元数据包括存储在一个 Dataproc Metastore 服务。
注意事项
恢复操作正在运行时,您无法更新自己的 服务 - 例如,您无法更改配置设置。不过,您 仍可使用您的服务进行正常操作,例如通过该服务访问 从挂接的 Dataproc 或自行管理的集群中复制其元数据。
不会恢复 Dataproc Metastore 标签。
系统不会恢复存储在仓库目录中的数据。
使用备份进行恢复时,不会恢复或替换精细控制项 IAM 政策。
若要使用计划备份进行恢复,您的备份必须位于 Cloud Storage 存储桶。
使用备份进行恢复
如需从备份恢复 Dataproc Metastore 服务,请完成以下步骤。
如果您使用的是 Google Cloud 控制台,则只能从 创建于与之前相同的项目和区域中创建的备份 您的新服务
如果您使用 Google Cloud CLI 或 Dataproc Metastore API, 您可以从在其他项目中创建的备份恢复元数据,并且 区域(跨服务备份)。
控制台
在 Google Cloud 控制台中,打开 Dataproc Metastore 页面:
在 Dataproc Metastore 页面上,点击相应服务的名称 您想要从备份中恢复的数据。
服务详细信息页面会打开。
图 1.Dataproc Metastore 服务详情页面 。如需查看备份,请点击备份/恢复标签页。
选择您要使用的备份。要执行此操作,请点击“菜单”图标
并选择 恢复。系统随即会打开恢复页面。
您也可以在备份详情页面上恢复您的服务。 为此,请点击备份的名称,然后点击恢复。
选择相应的恢复操作:
- 恢复 Metastore 数据。恢复所有元数据,但不恢复 备份中保存的配置设置
- 恢复 Metastore 数据和服务配置。 恢复所有元数据和 备份。
如需更新服务,请点击恢复。
返回 Dataproc Metastore 页面,然后 验证您的服务是否已成功备份。
恢复完成后,Dataproc Metastore 将 设备会自动恢复为活动状态,而不管该状态是否 即未成功恢复
gcloud CLI
要恢复 Dataproc Metastore 服务,请运行 以下
gcloud metastore services restore
命令:gcloud metastore services restore SERVICE \ --project=PROJECT_ID \ --location=LOCATION \ --backup=BACKUP \ --restore-type=RESTORE_TYPE \ --backup-location=BACKUP_LOCATION
替换以下内容:
SERVICE
:您的 Dataproc Metastore 服务。PROJECT_ID
:Google Cloud 的项目 ID Dataproc Metastoreservice 所在的项目中。LOCATION
:您的 Google Cloud Storage 存储区域 Dataproc Metastore 服务。BACKUP
(可选):备份文件的标识符 数据来源。该值可以是备份 ID, 限定网址或以下格式的相对名称:projects/{project_id}/locations/{location_id}/services/{service_id}/backups/{backup_id}
。RESTORE_TYPE
:恢复操作的类型 要执行的任务。 接受的值包括metadata-only
或full
。默认值 为metadata-only
。BACKUP_LOCATION
(可选):Cloud Storage 安排的备份的位置。 例如:gs://my-bucket/path/to/location
。
验证恢复操作是否成功。
恢复完成后,Dataproc Metastore 将 设备会自动恢复为活动状态,而不管该状态是否 即未成功恢复
REST
按照 API 说明使用 APIs Explorer 将元数据恢复到服务中。
恢复完成后,Dataproc Metastore 会自动 恢复到活动状态,而不管恢复状态 成功。
查看恢复历史记录
要在以下位置查看 Dataproc Metastore 服务的恢复历史记录 Google Cloud 控制台,请完成以下步骤:
- 在 Google Cloud 控制台控制台中,打开 Dataproc Metastore 页面。
在导航栏中,点击备份/还原。
您的恢复历史记录会显示在恢复下方的表格中。
历史记录最多显示您已完成的最近 25 次恢复操作。
删除 Dataproc Metastore 服务会同时删除所有 关联的恢复历史记录。
排查常见问题
- 服务代理或用户账号没有必要的权限。
- 如需有关解决常见问题排查的更多帮助, 请参阅备份和恢复错误场景。