搭配使用 Private Service Connect 与 Dataproc Metastore

本页面介绍了什么是 Private Service Connect 以及如何将其用作 VPC 对等互连的替代方案进行联网。

没有 VPC 对等互连的 Dataproc Metastore 服务

Dataproc Metastore 通过仅公开专用 IP 端点来保护其元数据访问权限。它还限制通过 VPC 对等互连与所提供的客户 VPC 网络中的虚拟机的连接。

Dataproc Metastore 要求每个 VPC 网络中的每个区域都满足以下要求：

设置 VPC 对等互连和 IP 地址预留将会对拥挤的 VPC 网络构成挑战。同样，VPC 网络可能没有足够的对等互连配额来容纳额外的对等互连请求。这两个限制都会阻止创建新的 Dataproc Metastore 服务。

您可以通过使用 Private Service Connect 来公开 Dataproc Metastore 端点，创建没有 VPC 对等互连和地址块预留的 Dataproc Metastore 服务。Private Service Connect 允许跨 VPC 网络与 Dataproc Metastore 元数据建立专用连接。

在使用 Private Service Connect 时，Dataproc Metastore 要求在子网中预留一个地址，并且需要一个以用于公开 Dataproc Metastore 端点的服务附件为目标的转发规则。地址预留和转发规则是在 Dataproc Metastore 服务创建调用过程中创建的。

使用 Private Service Connect 创建 Dataproc Metastore 服务

以下说明演示了如何在创建服务期间配置 Private Service Connect。

控制台

  1. 在 Google Cloud 控制台中，打开 Dataproc Metastore 页面：

    在 Google Cloud 控制台中打开 Dataproc Metastore

  2. 在 Dataproc Metastore 页面顶部，点击创建按钮。此时会打开创建服务页面。

  3. 根据需要配置服务。

  4. 在网络配置下，点击使服务在 VPC 子网中可供访问 (Make services accessible in multiple VPC subnetworks)。

  5. 选择子网。您最多可以指定 5 个子网。

  6. 点击完成。

  7. 点击提交。

验证服务的网络配置：

  1. 在 Google Cloud 控制台中，打开 Dataproc Metastore 页面：

    在 Google Cloud 控制台中打开 Dataproc Metastore

  2. 在 Dataproc Metastore 页面上，点击您要查看的服务的名称。该服务的服务详细信息页面会打开。

  3. 在配置标签页下，验证详细信息显示了多个 VPC 子网 URI。

gcloud

  1. 运行以下 gcloud metastore services create 命令以使用 Private Service Connect 创建服务：

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --consumer-subnetworks="projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1, projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"

    或

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --network-config-from-file=NETWORK_CONFIG_FROM_FILE

  2. 验证创建操作是否成功。

REST

按照 API 说明使用 API Explorer 创建服务。

在 create 请求参数中，使用 Network Config 字段配置 Private Service Connect：

     "network_config": {
       "consumers": [
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1"},
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"}
       ]
     }

您可以指定 1 到 5 个子网。

Dataproc Metastore 会预留地址，并在每个指定的子网中创建转发规则。每个子网都有一个 Thrift 端点 URI，可用于通过其访问 Dataproc Metastore 元数据端点。

附加 Dataproc 集群

您可以使用服务的端点 URI 和仓库目录关联将 Dataproc Metastore 服务与 Private Service Connect 搭配使用作为其 Hive Metastore 的 Dataproc 集群。

如需详细了解如何关联 Dataproc 集群，请参阅使用 ENDPOINT_URI 和 WAREHOUSE_DIR 关联 Dataproc 集群。

Dataproc Metastore 的 Private Service Connect 注意事项

  • 使用 Private Service Connect 的 Dataproc Metastore 服务端点仅支持从与该服务位于同一区域的子网进行访问。
  • 无法反向连接。这意味着不支持设置了 Private Service Connect 的 Kerberos 配置。
  • 使用 gRPC 端点协议创建 Dataproc Metastore 服务不支持网络配置。
  • 您无法从 Dataproc Metastore 服务动态添加或移除子网。如果您想添加或移除子网，必须重新创建服务。
  • 您无法将 Dataproc Metastore 服务从 Private Service Connect 设置更新为对等互连设置，反之亦然。
  • Private Service Connect 配置不支持辅助版本。

后续步骤