本页介绍了如何设置 Google Cloud 项目,为 Dataproc Metastore 管理的迁移做好准备。
准备工作
了解托管式迁移的运作方式。
设置或有权访问以下服务:
- 使用 Spanner 数据库类型配置的 Dataproc Metastore。
使用专用 IP 配置的 Cloud SQL for MySQL 数据库实例。对于 Cloud SQL 实例,请确保:
Cloud SQL 实例配置为使用必需的子网的 VPC 网络。
Cloud SQL 实例使用的数据库架构与在 Dataproc Metastore 服务(数据的目标位置)上运行的 Hive Metastore 版本兼容。
Cloud SQL 实例包含适当的用户,用于在 Datastream 与 Dataproc Metastore 以及 Dataproc Metastore 与 Cloud SQL 之间建立连接。
所需的角色
如需获得创建 Dataproc Metastore 和启动托管式迁移所需的权限,请让管理员向您授予以下 IAM 角色:
-
如需授予对所有 Dataproc Metastore 资源的完整访问权限(包括设置 IAM 权限),请为 Dataproc Metastore 用户账号或服务账号授予 Dataproc Metastore 管理员 (
roles/metastore.admin
) 角色 -
如需授予对 Dataproc Metastore 资源的完全控制权,请使用 Dataproc Metastore 用户账号或服务账号中的 Dataproc Metastore 编辑器 (
roles/metastore.editor
) -
如需授予启动迁移的权限,请为服务项目中的 Dataproc Metastore 服务代理授予 Migration Admin (
roles/metastore.migrationAdmin
) 权限
如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限。
根据您的项目设置授予其他角色
根据项目的配置方式,您可能需要添加以下其他角色。如需了解如何向相应账号授予这些角色,请参阅本页下文中的前提条件部分。
- 向服务项目中的 Dataproc Metastore 服务代理和 [Google API 服务代理] 授予“网络用户”(
roles/compute.networkUser
) 角色。 - 向宿主项目中的 Datastream Service Agent 授予 Network Admin (
roles/compute.networkAdmin
) 角色。
如果您的 Cloud SQL 实例与 Dataproc Metastore 服务项目位于不同的项目中,请执行以下操作:
- 向 Cloud SQL 实例项目中的 Dataproc Metastore 服务代理授予
roles/cloudsql.client
角色和roles/cloudsql.instanceUser
角色。
如果更改数据捕获流水线的 Cloud Storage 存储桶与您的 Dataproc Metastore 服务项目位于不同的项目中,请执行以下操作:
- 请确保您的 Datastream 服务代理具有向存储桶写入数据所需的权限。通常,这些角色是
roles/storage.objectViewer
、roles/storage.objectCreator
和roles/storage.legacyBucketReader
角色。
托管式迁移的前提条件
Dataproc Metastore 使用代理和变更数据捕获来促进数据传输。在开始转移之前,请务必了解这些功能的运作方式。
关键术语
- 服务项目:服务项目是指您创建 Dataproc Metastore 服务时所用的 Google Cloud 项目。
- 宿主项目:宿主项目是存储共享 VPC 网络的 Google Cloud 项目。您可以将一个或多个服务项目关联到宿主项目,以使用这些共享网络。如需了解详情,请参阅共享 VPC。
- 在服务项目中启用 Datastream API。
向服务项目中的 Dataproc Metastore Service Agent 授予
roles/metastore.migrationAdmin
角色。gcloud projects add-iam-policy-binding SERVICE_PROJECT --role "roles/metastore.migrationAdmin" --member "serviceAccount:service-SERVICE_PROJECT@gcp-sa-metastore.iam.gserviceaccount.com"
添加以下防火墙规则。
在 Dataproc Metastore 与专用 IP Cloud SQL 实例之间建立连接。
一条防火墙规则,用于允许从健康检查探测探测到 SOCKS5 代理的网络负载平衡器的流量。例如:
gcloud compute firewall-rules create RULE_NAME --direction=INGRESS --priority=1000 --network=CLOUD_SQL_NETWORK--allow=tcp:1080 --source-ranges=35.191.0.0/16,130.211.0.0/22
端口
1080
是 SOCKS5 代理服务器运行所在的位置。允许从负载均衡器传入 SOCKS5 代理 MIG 的防火墙规则。例如:
gcloud compute firewall-rules create
RULE_NAME --direction=INGRESS --priority=1000 --network=CLOUD_SQL_NETWORK--action=ALLOW --rules=all --source-ranges=PROXY_SUBNET_RANGE 允许从 Private Service Connect 服务连接到负载均衡器的流量的防火墙规则。例如:
gcloud compute firewall-rules create RULE_NAME --direction=INGRESS --priority=1000 --network=CLOUD_SQL_NETWORK --allow=tcp:1080 --source-ranges=NAT_SUBNET_RANGE
一条防火墙规则,用于允许 Datastream 使用
/29
CIDR IP 范围创建专用 IP 连接。例如:gcloud compute firewall-rules create RULE_NAME --direction=INGRESS --priority=1000 --network=CLOUD_SQL_NETWORK --action=ALLOW --rules=all --source-ranges=CIDR_RANGE
(可选)向共享 VPC 添加角色
如果您使用共享 VPC,请按照以下步骤操作。
如需详细了解共享 VPC,请参阅服务项目管理员。
向宿主项目中的 Dataproc Metastore 服务代理和 Google API 服务代理授予
roles/compute.networkUser
角色。gcloud projects add-iam-policy-binding HOST_PROJECT --role "roles/compute.networkUser" --member "serviceAccount:service-SERVICE_ACCOUNT@gcp-sa-metastore.iam.gserviceaccount.com" gcloud projects add-iam-policy-binding HOST_PROJECT --role "roles/compute.networkUser" --member "serviceAccount:SERVICE_PROJECT@cloudservices.gserviceaccount.com"
向宿主项目中的 Datastream Service Agent 授予
roles/compute.networkAdmin
角色。gcloud projects add-iam-policy-binding HOST_PROJECT --role "roles/compute.networkAdmin" --member "serviceAccount:service-SERVICE_PROJECT@gcp-sa-datastream.iam.gserviceaccount.com"
如果您无法授予 roles/compute.networkAdmin
角色,请创建一个具有共享 VPC 前提条件中列出的权限的自定义角色。
在迁移开始时,必须拥有这些权限,才能在宿主项目中的 VPC 网络与 Datastream 之间建立对等互连。
迁移开始后,即可移除此角色。如果您在迁移完成之前移除该角色,Dataproc Metastore 将无法清理对等连接作业。在这种情况下,您必须自行清理作业。