本页面介绍如何从备份恢复 Dataproc Metastore 服务。
备份是 Dataproc Metastore 服务中存储的配置设置和元数据的快照。您可以使用恢复功能使用之前保存在备份中的数据快速设置新的 Dataproc Metastore 服务。
准备工作
所需的角色
如需获取从备份恢复 Dataproc Metastore 服务所需的权限,请让管理员授予您以下 IAM 角色:
-
如需授予对 Dataproc Metastore 资源的完全控制权以完成备份,请执行以下任一操作:
-
元数据服务的 Dataproc Metastore Editor (
roles/metastore.editor
)。 -
项目的 Dataproc Metastore Administrator (
roles/metastore.admin
)。
-
元数据服务的 Dataproc Metastore Editor (
-
如需使用存储计划备份的 Cloud Storage 对象,请执行以下操作:
Dataproc Metastore 服务代理上的 Cloud Storage Object User (
roles/storage.objectUser
)
如需详细了解如何授予角色,请参阅管理访问权限。
这些预定义角色包含从备份恢复 Dataproc Metastore 服务所需的权限。如需查看所需的确切权限,请展开所需权限部分:
所需权限
如需通过备份恢复 Dataproc Metastore 服务,需要以下权限:
-
如需恢复元数据服务,请执行以下操作:
metastore.services.restore, metastore.backups.use
-
如需使用 Cloud Storage 对象,请执行以下操作:
-
orgpolicy.policy.get
-
resourcemanager.projects.get
-
resourcemanager.projects.list
-
storage.managedFolders.create
-
storage.managedFolders.delete
-
storage.managedFolders.get
-
storage.managedFolders.list
-
storage.multipartUploads.*
-
storage.objects.create
-
storage.objects.delete
-
storage.objects.get
-
storage.objects.list
-
storage.objects.restore
-
storage.objects.update
-
关于使用备份进行恢复
使用备份恢复服务时,您可以选择以下选项之一:
- 恢复备份中保存的所有元数据和配置设置。
恢复所有元数据,但不恢复备份中保存的配置设置。您的服务会保留当前的配置设置。
配置设置包括 Dataproc Metastore 参数,例如服务名称、端口号和网络设置。元数据包括存储在 Dataproc Metastore 服务中的所有数据库和表信息。
注意事项
在恢复操作运行时,您无法更新服务,例如,不能更改配置设置。但是,您仍然可以使用服务执行正常操作,例如使用它从关联的 Dataproc 或自行管理的集群访问其元数据。
系统不会恢复 Dataproc Metastore 标签。
存储在仓库目录中的数据不会恢复。
使用备份进行恢复不会恢复或替换精细的 IAM 政策。
要从计划备份进行恢复,您的备份必须位于 Cloud Storage 存储桶中。
使用备份进行恢复
如需从备份恢复 Dataproc Metastore 服务,请完成以下步骤。
如果您使用的是 Google Cloud 控制台,则只能从在新服务所在的项目和区域中创建的备份中恢复元数据。
如果您使用 Google Cloud CLI 或 Dataproc Metastore API,则可以从其他项目和区域中创建的备份恢复元数据(跨服务备份)。
控制台
在 Google Cloud 控制台中,打开 Dataproc Metastore 页面:
在 Dataproc Metastore 页面上,点击要从备份恢复的服务的名称。
服务详细信息页面会打开。
如需查看备份,请点击备份/恢复标签页。
选择要使用的备份。如需执行此操作,请点击菜单图标
,然后选择恢复。系统随即会打开恢复页面。
您还可以在备份详情页面上恢复服务。 为此,请点击备份的名称,然后点击恢复。
选择相应的恢复操作:
- 恢复 Metastore 数据。恢复所有元数据,但不恢复备份中保存的配置设置
- 恢复 Metastore 数据和服务配置。 恢复备份中保存的所有元数据和所有配置设置。
如要更新服务,请点击恢复。
返回 Dataproc Metastore 页面,并验证您的服务是否已成功备份。
恢复完成后,无论是否成功,Dataproc Metastore 都会自动返回到活跃状态。
gcloud CLI
如需恢复 Dataproc Metastore 服务,请运行以下
gcloud metastore services restore
命令:gcloud metastore services restore SERVICE \ --project=PROJECT_ID \ --location=LOCATION \ --backup=BACKUP \ --restore-type=RESTORE_TYPE \ --backup-location=BACKUP_LOCATION
替换以下内容:
SERVICE
:您的 Dataproc Metastore 服务的名称。PROJECT_ID
:您的 Dataproc Metastoreservice 所在的 Google Cloud 项目的项目 ID。LOCATION
:您的 Dataproc Metastore 服务所在的 Google Cloud 区域。BACKUP
:要从中进行恢复的备份文件的标识符。此值可以是备份 ID、完全限定网址或采用以下格式的相对名称:projects/{project_id}/locations/{location_id}/services/{service_id}/backups/{backup_id}
。RESTORE_TYPE
:要执行的恢复操作的类型。接受的值包括metadata-only
或full
。默认值为metadata-only
。BACKUP_LOCATION
(可选):计划备份的 Cloud Storage 位置。例如:gs://my-bucket/path/to/location
。
验证恢复操作是否成功。
恢复完成后,无论是否成功,Dataproc Metastore 都会自动返回到活跃状态。
REST
按照 API 说明使用 APIs Explorer 将元数据恢复到服务中。
恢复完成后,无论是否成功,Dataproc Metastore 都会自动返回到活跃状态。
查看恢复历史记录
如需在 Google Cloud 控制台中查看 Dataproc Metastore 服务的恢复历史记录,请完成以下步骤:
- 在 Google Cloud 控制台控制台中,打开 Dataproc Metastore 页面。
点击导航栏中的备份/恢复。
您的恢复历史记录会显示在恢复下的一个表格中。
历史记录最多可显示您最新完成的 25 个恢复操作。
删除 Dataproc Metastore 服务会同时删除所有关联的恢复历史记录。
排查常见问题
- 服务代理或用户帐号没有必要的权限。
- 如需获得有关解决常见问题排查问题的更多帮助,请参阅备份和恢复错误场景。