借助 Private Service Connect,您可以创建 不使用 VPC 的 Dataproc Metastore 服务 对等互连。本页面介绍了 Private Service Connect 是什么 以及如何将其用作 Dataproc Metastore。
Dataproc Metastore 如何与 VPC 协同工作
Dataproc Metastore 通过仅公开私有数据,保护其元数据访问 IP 端点。还会通过以下方式限制与 VPC 网络中虚拟机的连接: 使用 VPC 对等互连连接
Dataproc Metastore 需要以下配置 每个 VPC 网络的每个区域:
因此,请设置 VPC 对等互连和 IP 地址预留 在拥挤的 VPC 网络中可能会很困难。同样,VPC 网络可能没有足够的对等互连配额来容纳额外的对等互连请求。这两个限制都可能会妨碍您 Dataproc Metastore 服务。
要避免这些问题,您可以使用 将 Dataproc Metastore 与 Private Service Connect 结合使用。
Dataproc Metastore 如何与 Private Service Connect 协同运作
Private Service Connect 提供 跨 VPC 网络的 Dataproc Metastore 元数据。
如需将 Private Service Connect 与 Dataproc Metastore 搭配使用, 需要进行以下配置:
- 子网中的单个地址预留。
- 针对公开 Dataproc Metastore 的服务连接的转发规则 端点。地址预留和转发规则是在 Dataproc Metastore 服务创建调用过程中创建的。
注意事项
使用 Private Service Connect 的 Dataproc Metastore 服务 仅支持从服务期间指定子网的 VPC 网络进行访问 创建过程。
Dataproc Metastore 会预留地址,并在每个指定的子网中创建转发规则。每个子网都有一个 Thrift 端点 URI,可用于通过其访问 Dataproc Metastore 元数据端点。
限制
- 使用 gRPC 端点协议的 Dataproc Metastore 服务 不支持 Private Service Connect。
- Private Service Connect 不支持反向连接。 这意味着您不能将 Kerberos 配置与 Private Service Connect 搭配使用。
- 您无法在 Dataproc Metastore 中动态添加或移除子网 。相反, 如果您想添加或移除子网,则必须重新创建服务。
- 您无法更新使用 Private Service Connect 的 Dataproc Metastore 服务 或使用 VPC,反之亦然。
使用 Private Service Connect 创建 Dataproc Metastore 服务
以下说明演示了如何在创建服务期间配置 Private Service Connect。
控制台
在 Google Cloud 控制台中,打开 Dataproc Metastore 页面:
在 Dataproc Metastore 页面顶部,点击创建。
此时会打开创建服务页面。
根据需要配置服务。
在网络配置下,点击使服务在 VPC 子网中可供访问 (Make services accessible in multiple VPC subnetworks)。
选择子网。您最多可以指定 5 个子网。
点击完成。
点击提交。
验证服务的网络配置:
在 Google Cloud 控制台中,打开 Dataproc Metastore 页面:
在 Dataproc Metastore 页面上,点击 特定内容
该服务的服务详细信息页面会打开。
在配置标签页下,验证详细信息是否显示了多个 VPC 子网 URI
gcloud
运行以下
gcloud metastore services create
命令以 使用 Private Service Connect 创建服务:gcloud metastore services create SERVICE \ --location=LOCATION \ --consumer-subnetworks="projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1, projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"
或
gcloud metastore services create SERVICE \ --location=LOCATION \ --network-config-from-file=NETWORK_CONFIG_FROM_FILE
验证创建操作是否成功。
REST
按照 API 说明使用 API Explorer 创建服务。
在 create
请求参数中,使用 Network Config
字段
配置 Private Service Connect。您可以指定 1 到 5 个子网。
"network_config": { "consumers": [ {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1"}, {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"} ] }