搭配使用 Private Service Connect 与 Dataproc Metastore

借助 Private Service Connect，您可以创建不使用 VPC 对等互连的 Dataproc Metastore 服务。本页面介绍了什么是 Private Service Connect 以及如何将其用作 Dataproc Metastore 的备用网络选项。

Dataproc Metastore 如何与 VPC 协同工作

Dataproc Metastore 仅通过公开专用 IP 端点来保护其元数据访问。它还会使用 VPC 对等互连来限制与 VPC 网络中虚拟机的连接。

Dataproc Metastore 需要针对每个 VPC 网络在每个区域进行以下配置：

因此，在拥挤的 VPC 网络上，设置 VPC 对等互连和 IP 地址预留可能会很困难。同样，VPC 网络可能没有足够的对等互连配额来容纳额外的对等互连请求。这两个限制都可能会阻止您创建新的 Dataproc Metastore 服务。

如需避免这些问题，您可以将 Dataproc Metastore 与 Private Service Connect 搭配使用。

Dataproc Metastore 如何与 Private Service Connect 协同工作

Private Service Connect 可跨 VPC 网络提供与 Dataproc Metastore 元数据的专用连接。

如需将 Private Service Connect 与 Dataproc Metastore 搭配使用，需要进行以下配置：

  • 子网中的单个地址预留。
  • 针对公开 Dataproc Metastore 端点的服务连接的转发规则。地址预留和转发规则是在 Dataproc Metastore 服务创建调用过程中创建的。

注意事项

  • 使用 Private Service Connect 的 Dataproc Metastore 服务仅支持从服务创建期间指定的子网的 VPC 网络进行访问。

  • Dataproc Metastore 会预留地址，并在每个指定的子网中创建转发规则。每个子网都有一个 Thrift 端点 URI，可用于通过其访问 Dataproc Metastore 元数据端点。

限制

  • 使用 gRPC 端点协议的 Dataproc Metastore 服务不支持 Private Service Connect。
  • Private Service Connect 不支持反向连接。这意味着您不能将 Kerberos 配置与 Private Service Connect 搭配使用。
  • 您无法在配置了 Private Service Connect 的 Dataproc Metastore 服务中动态添加或移除子网。如果要添加或移除子网，您必须重新创建服务。
  • 您无法更新使用 Private Service Connect 的 Dataproc Metastore 服务以使用 VPC，反之亦然。

使用 Private Service Connect 创建 Dataproc Metastore 服务

以下说明演示了如何在创建服务期间配置 Private Service Connect。

控制台

  1. 在 Google Cloud 控制台中，打开 Dataproc Metastore 页面：

    转到 Dataproc Metastore

  2. 在 Dataproc Metastore 页面顶部，点击创建。

    此时会打开创建服务页面。

  3. 根据需要配置服务。

  4. 在网络配置下，点击使服务在 VPC 子网中可供访问 (Make services accessible in multiple VPC subnetworks)。

  5. 选择子网。您最多可以指定 5 个子网。

  6. 点击完成。

  7. 点击提交。

验证服务的网络配置：

  1. 在 Google Cloud 控制台中，打开 Dataproc Metastore 页面：

    转到 Dataproc Metastore

  2. 在 Dataproc Metastore 页面上，点击要查看的服务的服务名称。

    该服务的服务详细信息页面会打开。

  3. 在配置标签页下，验证详细信息是否显示了多个 VPC 子网 URI。

gcloud

  1. 运行以下 gcloud metastore services create 命令以使用 Private Service Connect 创建服务：

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --consumer-subnetworks="projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1, projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"

    或

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --network-config-from-file=NETWORK_CONFIG_FROM_FILE

  2. 验证创建操作是否成功。

REST

按照 API 说明使用 API Explorer 创建服务。

在 create 请求参数中，使用 Network Config 字段配置 Private Service Connect。您可以指定 1 到 5 个子网。

     "network_config": {
       "consumers": [
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1"},
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"}
       ]
     }

后续步骤