本页面介绍了如何从备份中恢复 Dataproc Metastore 服务。
备份是 Dataproc Metastore 服务中存储的配置设置和元数据的快照。借助恢复功能,您可以使用先前保存在备份中的数据快速设置新的 Dataproc Metastore 服务。
准备工作
所需的角色
如需获取从备份恢复 Dataproc Metastore 服务所需的权限,请让管理员授予您以下 IAM 角色:
-
要授予对 Dataproc Metastore 资源的完全控制权以完成备份,请执行以下任一操作:
-
针对元数据服务的 Dataproc Metastore Editor (
roles/metastore.editor
)。 -
项目的 Dataproc Metastore Administrator (
roles/metastore.admin
)。
-
针对元数据服务的 Dataproc Metastore Editor (
-
如需使用存储计划备份的 Cloud Storage 对象,请执行以下操作:
Dataproc Metastore 服务代理上的 Cloud Storage Object User (
roles/storage.objectUser
)
如需详细了解如何授予角色,请参阅管理访问权限。
这些预定义角色包含从备份恢复 Dataproc Metastore 服务所需的权限。如需查看所需的确切权限,请展开所需权限部分:
所需权限
要从备份中恢复 Dataproc Metastore 服务,需要以下权限:
-
如需恢复元数据服务,请执行以下操作:
metastore.services.restore, metastore.backups.use
-
如需使用 Cloud Storage 对象,请执行以下操作:
-
orgpolicy.policy.get
-
resourcemanager.projects.get
-
resourcemanager.projects.list
-
storage.managedFolders.create
-
storage.managedFolders.delete
-
storage.managedFolders.get
-
storage.managedFolders.list
-
storage.multipartUploads.*
-
storage.objects.create
-
storage.objects.delete
-
storage.objects.get
-
storage.objects.list
-
storage.objects.restore
-
storage.objects.update
-
关于使用备份进行恢复
使用备份恢复服务时,您可以选择以下选项之一:
- 恢复备份中保存的所有元数据和配置设置。
恢复所有元数据,但不恢复保存在备份中的配置设置。您的服务会保留当前的配置设置。
配置设置包括 Dataproc Metastore 参数,例如服务名称、端口号和网络设置。元数据包括存储在 Dataproc Metastore 服务中的所有数据库和表信息。
注意事项
在恢复操作运行期间,您无法更新服务,例如,您无法更改配置设置。但是,您仍然可以使用您的服务执行正常操作,例如,使用该服务从连接的 Dataproc 或自行管理的集群访问其元数据。
不会恢复 Dataproc Metastore 标签。
系统不会恢复存储在仓库目录中的数据。
使用备份进行恢复不会恢复或替换精细的 IAM 政策。
要使用计划备份进行恢复,您的备份必须位于 Cloud Storage 存储桶中。
使用备份进行恢复
如需从备份恢复 Dataproc Metastore 服务,请完成以下步骤。
如果您使用的是 Google Cloud 控制台,则只能从与新服务位于同一项目和区域的备份中恢复元数据。
如果您使用 Google Cloud CLI 或 Dataproc Metastore API,则可以从在不同项目和区域中创建的备份(跨服务备份)恢复元数据。
控制台
在 Google Cloud 控制台中,打开 Dataproc Metastore 页面:
在 Dataproc Metastore 页面上,点击要从备份中恢复的服务的名称。
服务详细信息页面会打开。
图 1.Dataproc Metastore 服务详情页面 如需查看备份,请点击备份/恢复标签页。
选择您要使用的备份。为此,请点击菜单图标
,然后选择 Restore。系统随即会打开恢复页面。
您也可以在备份详情页面上恢复您的服务。 为此,请点击备份的名称,然后点击恢复。
选择相应的恢复操作:
- 恢复 Metastore 数据。恢复所有元数据,但不会恢复 在备份中保存的配置设置
- 恢复 Metastore 数据和服务配置。 用于恢复备份中保存的所有元数据和所有配置设置。
如需更新服务,请点击恢复。
返回 Dataproc Metastore 页面,并验证您的服务是否已成功备份。
恢复完成后,无论恢复是否成功,Dataproc Metastore 都会自动返回到活动状态。
gcloud CLI
如需恢复 Dataproc Metastore 服务,请运行以下
gcloud metastore services restore
命令:gcloud metastore services restore SERVICE \ --project=PROJECT_ID \ --location=LOCATION \ --backup=BACKUP \ --restore-type=RESTORE_TYPE \ --backup-location=BACKUP_LOCATION
请替换以下内容:
SERVICE
:Dataproc Metastore 服务的名称。PROJECT_ID
:您的 Dataproc Metastoreservice 所在的 Google Cloud 项目的 ID。LOCATION
:您的 Dataproc Metastore 服务所在的 Google Cloud 区域。BACKUP
(可选):要从中恢复的备份文件的标识符。此值可以是备份 ID、完全限定网址或相对名称,格式如下:projects/{project_id}/locations/{location_id}/services/{service_id}/backups/{backup_id}
。RESTORE_TYPE
:要执行的恢复操作的类型。接受的值包括metadata-only
或full
。默认值为metadata-only
。BACKUP_LOCATION
(可选):计划备份的 Cloud Storage 位置。例如:gs://my-bucket/path/to/location
。
验证恢复操作是否成功。
恢复完成后,无论恢复是否成功,Dataproc Metastore 都会自动返回到活动状态。
REST
按照 API 说明使用 APIs Explorer 将元数据恢复到服务中。
恢复完成后,无论恢复是否成功,Dataproc Metastore 都会自动返回到活动状态。
查看恢复历史记录
如需在 Google Cloud 控制台中查看 Dataproc Metastore 服务的恢复历史记录,请完成以下步骤:
- 在 Google Cloud 控制台控制台中,打开 Dataproc Metastore 页面。
在导航栏中,点击备份/还原。
您的恢复历史记录会显示在恢复下方的表格中。
历史记录最多显示您已完成的最近 25 次恢复操作。
删除 Dataproc Metastore 服务也会删除所有关联的恢复历史记录。
排查常见问题
- 服务代理或用户帐号没有必要的权限。
- 如果在解决常见问题排查问题方面需要更多帮助,请参阅备份和恢复错误场景。