托管式迁移的前提条件

本页介绍了如何设置 Google Cloud 项目,为 Dataproc Metastore 管理的迁移做好准备。

准备工作

所需的角色

如需获得创建 Dataproc Metastore 和启动托管式迁移所需的权限,请让管理员向您授予以下 IAM 角色:

  • 如需授予对所有 Dataproc Metastore 资源的完整访问权限(包括设置 IAM 权限),请为 Dataproc Metastore 用户账号或服务账号授予 Dataproc Metastore 管理员 (roles/metastore.admin) 角色
  • 如需授予对 Dataproc Metastore 资源的完全控制权,请使用 Dataproc Metastore 用户账号或服务账号中的 Dataproc Metastore 编辑器 (roles/metastore.editor)
  • 如需授予启动迁移的权限,请为服务项目中的 Dataproc Metastore 服务代理授予 Migration Admin (roles/metastore.migrationAdmin) 权限

如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限

您也可以通过自定义角色或其他预定义角色来获取所需的权限。

根据您的项目设置授予其他角色

根据项目的配置方式,您可能需要添加以下其他角色。如需了解如何向相应账号授予这些角色,请参阅本页下文中的前提条件部分。

  • 向服务项目中的 Dataproc Metastore 服务代理[Google API 服务代理] 授予“网络用户”(roles/compute.networkUser) 角色。
  • 向宿主项目中的 Datastream Service Agent 授予 Network Admin (roles/compute.networkAdmin) 角色。

如果您的 Cloud SQL 实例与 Dataproc Metastore 服务项目位于不同的项目中,请执行以下操作:

  • 向 Cloud SQL 实例项目中的 Dataproc Metastore 服务代理授予 roles/cloudsql.client 角色和 roles/cloudsql.instanceUser 角色。

如果更改数据捕获流水线的 Cloud Storage 存储桶与您的 Dataproc Metastore 服务项目位于不同的项目中,请执行以下操作:

  • 请确保您的 Datastream 服务代理具有向存储桶写入数据所需的权限。通常,这些角色是 roles/storage.objectViewerroles/storage.objectCreatorroles/storage.legacyBucketReader 角色。

托管式迁移的前提条件

Dataproc Metastore 使用代理和变更数据捕获来促进数据传输。在开始转移之前,请务必了解这些功能的运作方式。

关键术语

  • 服务项目:服务项目是指您创建 Dataproc Metastore 服务时所用的 Google Cloud 项目。
  • 宿主项目:宿主项目是存储共享 VPC 网络的 Google Cloud 项目。您可以将一个或多个服务项目关联到宿主项目,以使用这些共享网络。如需了解详情,请参阅共享 VPC
  1. 在服务项目中启用 Datastream API
  2. 向服务项目中的 Dataproc Metastore Service Agent 授予 roles/metastore.migrationAdmin 角色。

    gcloud projects add-iam-policy-binding SERVICE_PROJECT --role "roles/metastore.migrationAdmin" --member "serviceAccount:service-SERVICE_PROJECT@gcp-sa-metastore.iam.gserviceaccount.com"
    
  3. 添加以下防火墙规则。

    在 Dataproc Metastore 与专用 IP Cloud SQL 实例之间建立连接。

    • 一条防火墙规则,用于允许从健康检查探测探测到 SOCKS5 代理的网络负载平衡器的流量。例如:

      gcloud compute firewall-rules create RULE_NAME --direction=INGRESS --priority=1000 --network=CLOUD_SQL_NETWORK--allow=tcp:1080 --source-ranges=35.191.0.0/16,130.211.0.0/22
      

      端口 1080 是 SOCKS5 代理服务器运行所在的位置。

    • 允许从负载均衡器传入 SOCKS5 代理 MIG 的防火墙规则。例如:

      gcloud compute firewall-rules create RULE_NAME --direction=INGRESS --priority=1000 --network=CLOUD_SQL_NETWORK--action=ALLOW --rules=all --source-ranges=PROXY_SUBNET_RANGE
      
    • 允许从 Private Service Connect 服务连接到负载均衡器的流量的防火墙规则。例如:

      gcloud compute firewall-rules create RULE_NAME --direction=INGRESS --priority=1000 --network=CLOUD_SQL_NETWORK --allow=tcp:1080 --source-ranges=NAT_SUBNET_RANGE
      

    一条防火墙规则,用于允许 Datastream 使用 /29 CIDR IP 范围创建专用 IP 连接。例如:

    gcloud compute firewall-rules create RULE_NAME --direction=INGRESS --priority=1000 --network=CLOUD_SQL_NETWORK --action=ALLOW --rules=all --source-ranges=CIDR_RANGE
    

(可选)向共享 VPC 添加角色

如果您使用共享 VPC,请按照以下步骤操作。

如需详细了解共享 VPC,请参阅服务项目管理员

  1. 向宿主项目中的 Dataproc Metastore 服务代理和 Google API 服务代理授予 roles/compute.networkUser 角色。

    gcloud projects add-iam-policy-binding HOST_PROJECT  --role "roles/compute.networkUser" --member "serviceAccount:service-SERVICE_ACCOUNT@gcp-sa-metastore.iam.gserviceaccount.com"
    gcloud projects add-iam-policy-binding HOST_PROJECT  --role "roles/compute.networkUser" --member "serviceAccount:SERVICE_PROJECT@cloudservices.gserviceaccount.com"
    
  2. 向宿主项目中的 Datastream Service Agent 授予 roles/compute.networkAdmin 角色。

    gcloud projects add-iam-policy-binding HOST_PROJECT --role "roles/compute.networkAdmin" --member "serviceAccount:service-SERVICE_PROJECT@gcp-sa-datastream.iam.gserviceaccount.com"
    

如果您无法授予 roles/compute.networkAdmin 角色,请创建一个具有共享 VPC 前提条件中列出的权限的自定义角色。

  • 在迁移开始时,必须拥有这些权限,才能在宿主项目中的 VPC 网络与 Datastream 之间建立对等互连。

  • 迁移开始后,即可移除此角色。如果您在迁移完成之前移除该角色,Dataproc Metastore 将无法清理对等连接作业。在这种情况下,您必须自行清理作业。

后续步骤