设置跨项目部署

您可以为 Dataproc Metastore 设置跨项目部署，以分离以下资源：

  • Dataproc Metastore 服务。
  • 连接到 Dataproc Metastore 服务的 Dataproc 集群。
  • Dataproc 集群使用的网络。

准备工作

必需的角色

如需获取创建 Dataproc Metastore 和 Dataproc 集群所需的权限，请让管理员向您授予以下 IAM 角色：

  • 如需授予对 Dataproc Metastore 资源的完全控制权，请执行以下操作： 对 Metastore 项目的 Dataproc Metastore Editor (roles/metastore.editor)。

如需详细了解如何授予角色，请参阅管理访问权限。

您也可以通过自定义角色或其他预定义角色来获取所需的权限。

如需详细了解特定的 Dataproc Metastore 角色和权限，请参阅使用 IAM 管理访问权限。

跨项目部署简介

Dataproc Metastore 跨项目部署可以包含以下配置：

  • 两个项目：

    • 项目 1 包含 Dataproc 集群（集群项目）。
    • 项目 2 包含 Dataproc Metastore 服务和网络（Metastore 项目和网络项目）。

  • 两个项目：

    • 项目 1 包含 Dataproc 集群。
    • 项目 2 包含 Dataproc Metastore 服务和网络（Metastore 项目和网络项目）。

  • 两个项目：

    • 项目 1 包含 Dataproc 集群和 Dataproc Metastore 服务（集群项目和 Metastore 项目）。
    • 项目 2 包含 和网络（网络项目）。

  • 三个项目：

    • 项目 1 包含 Dataproc 集群（集群项目）。
    • 项目 2 包含 Dataproc Metastore 服务（metastore 项目）。
    • 项目 3 包含网络（网络项目）。

下图简要介绍了您可以使用的项目配置。

部署 Dataproc Metastore 和 Dataproc 集群时可能的项目配置概览

跨项目权限

在设置跨项目权限之前，请确定您的配置是否需要使用此权限：

您必须设置其他跨项目权限

  • 如果您的 Dataproc 集群和 Dataproc Metastore 服务位于不同的项目中。

  • 如果您的 Dataproc Metastore 服务和网络位于不同的项目中。

设置跨项目权限

如果集群项目和 Metastore 项目位于不同的项目中，请授予以下角色：

  • 将 roles/metastore.user 设置为集群项目的 Dataproc 服务代理帐号（包含在 Metastore 项目的 IAM 政策中）。此配置适用于 Thrift 和 gRPC 端点协议。

如果网络项目和 Metastore 项目位于不同的项目中，请授予以下角色：

  • 将 roles/metastore.serviceAgent 设置为 Metastore 项目服务代理（包含在网络项目的 IAM 政策中）。此配置仅适用于 Thrift 端点协议。

控制台

如需查找您的项目编号，请按以下步骤操作：

  1. 前往“IAM 和管理”的设置标签页。

  2. 从页面顶部的项目列表中，选择要用于创建 Dataproc 集群的项目。

  3. 记下项目编号。

配置权限：

  1. 前往 IAM 标签页。

  2. 从页面顶部的项目列表中，选择 Metastore 项目。

  3. 点击添加。

  4. 在主账号字段中输入服务账号。

  5. 从“角色”菜单中，依次选择 Dataproc Metastore > Dataproc Metastore Viewer。

  6. 点击添加。

完成上述步骤后，您可以创建关联到 Dataproc Metastore 服务的 Dataproc 集群。请注意，要执行此操作，Dataproc 集群的网络或子网配置必须与 Dataproc Metastore 网络或子网匹配。

例如：

gcloud metastore services create SERVICE \
     --network=projects/HOST_PROJECT/global/networks/NETWORK_ID

后续步骤