搭配使用 Private Service Connect 与 Dataproc Metastore

借助 Private Service Connect，您可以创建 不使用 VPC 的 Dataproc Metastore 服务 对等互连。本页面介绍了 Private Service Connect 是什么 以及如何将其用作 Dataproc Metastore。

Dataproc Metastore 如何与 VPC 协同工作

Dataproc Metastore 通过仅公开私有数据，保护其元数据访问 IP 端点。它还会使用 VPC 对等互连来限制与您 VPC 网络中的虚拟机的连接。

Dataproc Metastore 需要以下配置 每个 VPC 网络的每个区域：

因此，请设置 VPC 对等互连和 IP 地址预留 在拥挤的 VPC 网络中可能会很困难。同样，VPC 网络可能没有足够的对等互连配额来容纳额外的对等互连请求。这两个限制都可能会妨碍您 Dataproc Metastore 服务。

要避免这些问题，您可以使用 将 Dataproc Metastore 与 Private Service Connect 结合使用。

Dataproc Metastore 如何与 Private Service Connect 搭配使用

Private Service Connect 提供 跨 VPC 网络的 Dataproc Metastore 元数据。

如需将 Private Service Connect 与 Dataproc Metastore 搭配使用， 需要进行以下配置：

  • 子网中的单个地址预留。
  • 针对公开 Dataproc Metastore 的服务连接的转发规则 端点。地址预留和转发规则是在 Dataproc Metastore 服务创建调用过程中创建的。

注意事项

  • 使用 Private Service Connect 的 Dataproc Metastore 服务 仅支持从服务期间指定子网的 VPC 网络进行访问 创建过程。

  • Dataproc Metastore 会预留地址，并在每个指定的子网中创建转发规则。每个子网都有一个 Thrift 端点 URI，可用于通过其访问 Dataproc Metastore 元数据端点。

限制

  • 使用 gRPC 端点协议的 Dataproc Metastore 服务 不支持 Private Service Connect。
  • Private Service Connect 不支持反向连接。 这意味着您无法将 Kerberos 配置与 Private Service Connect 搭配使用。
  • 您无法从使用 Private Service Connect 配置的 Dataproc Metastore 服务动态添加或移除子网。相反，如果您想添加或移除子网，则必须重新创建服务。
  • 您无法更新使用 Private Service Connect 的 Dataproc Metastore 服务 或使用 VPC，反之亦然。

使用 Private Service Connect 创建 Dataproc Metastore 服务

以下说明演示了如何在创建服务期间配置 Private Service Connect。

控制台

  1. 在 Google Cloud 控制台中，打开 Dataproc Metastore 页面：

    前往 Dataproc Metastore

  2. 在 Dataproc Metastore 页面顶部，点击创建。

    此时会打开创建服务页面。

  3. 根据需要配置服务。

  4. 在网络配置下，点击使服务在 VPC 子网中可供访问 (Make services accessible in multiple VPC subnetworks)。

  5. 选择子网。您最多可以指定 5 个子网。

  6. 点击完成。

  7. 点击提交。

验证服务的网络配置：

  1. 在 Google Cloud 控制台中，打开 Dataproc Metastore 页面：

    转到 Dataproc Metastore

  2. 在 Dataproc Metastore 页面上，点击 特定内容

    该服务的服务详细信息页面会打开。

  3. 在配置标签页下，验证详细信息是否显示了多个 VPC 子网 URI

gcloud

  1. 运行以下 gcloud metastore services create 命令以 使用 Private Service Connect 创建服务：

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --consumer-subnetworks="projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1, projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"

    或

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --network-config-from-file=NETWORK_CONFIG_FROM_FILE

  2. 验证创建操作是否成功。

REST

按照 API 说明使用 API Explorer 创建服务。

在 create 请求参数中，使用 Network Config 字段 配置 Private Service Connect。您可以指定 1 到 5 个子网。

     "network_config": {
       "consumers": [
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1"},
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"}
       ]
     }

后续步骤