服务网络

本页面提供有关与 Dataproc Metastore 联网的信息。

概览

Dataproc Metastore 服务使用专用 IP,这提供了许多好处。专用 IP 的网络延迟时间比公共 IP 短。您可以从任何区域通过专用 IP 建立连接。您还可以在项目间通过共享 VPC 建立连接。

您还可以使用专用 IP 将您的 VPC 网络中的主机与 Dataproc Metastore 服务连接,方法是将您的 VPC 网络与 Dataproc Metastore 的服务提供方 VPC 网络建立对等互连。Google 会将您的 VPC 网络使用的 IP 范围分配给 Dataproc Metastore 的服务提供方项目。

示例

在以下示例中,Google 会在客户 VPC 网络中为 Google 服务分配 10.100.0.0/1710.200.0.0/20 地址范围,并使用对等互连 VPC 网络中的地址范围。

客户、服务和 Cloud SQL 项目网络图

  • 在 VPC 对等互连的 Google 服务端,Google 为客户创建了一个项目。该项目是独立的,这意味着没有其他客户共享该项目,并且客户只需要为客户预配的资源付费。
  • 在一个区域中创建第一个 Dataproc Metastore 服务时,Dataproc Metastore 会在客户网络中,针对该区域和网络中的所有 Dataproc Metastore 服务使用分配 /17 范围和 /20 范围。Dataproc Metastore 会进一步细分这些范围,以在服务生产方项目中创建子网和地址范围。
  • 如果 Google Cloud 服务支持,则客户网络中的虚拟机服务可以访问任何区域的 Dataproc Metastore 服务资源。某些 Google Cloud 服务可能不支持跨区域通信。
  • 跨区域流量(在这种情况下,虚拟机实例会与不同区域的资源进行通信)的出站费用仍然需要支付。
  • Google 会为 Dataproc Metastore 服务分配 IP 地址 10.100.0.100。在客户 VPC 网络中,目标为 10.100.0.100 的请求将通过 VPC 对等互连路由到服务提供方的网络。到达服务网络后,服务网络会包含将请求定向到正确资源的路由。
  • VPC 网络之间的流量在 Google 网络内部传输,而不是通过公共互联网传输。

网络问题

Dataproc Metastore 从每个区域的地址空间分配一个 /17 范围和一个 /20 范围。例如,将 Dataproc Metastore 服务放在两个区域需要分配的 IP 地址范围至少包含两个大小为 /17 的未使用的地址块和两个大小为 /20 的未使用的地址块。

使用专用 IP 地址与 Dataproc Metastore 服务的连接会使用 RFC 1918 地址范围。如果未找到 RFC 1918 地址块,Dataproc Metastore 会找到合适的非 RFC 1918 地址块。请注意,分配非 RFC 1918 块时,不考虑这些地址是否在 VPC 网络或本地中使用。

安全

通过 VPC 网络对等互连的流量会经过特定级别的加密。如需了解详情,请参阅 Google Cloud 的虚拟网络加密和身份验证

与将所有服务置于“默认”VPC 网络中相比,为每个具有专用 IP 地址的服务创建一个 VPC 网络可实现更好的网络隔离。

网络主题快速参考

主题 讨论
共享 VPC 网络 您可以在共享 VPC 网络中创建 Dataproc Metastore 服务。如需在创建服务时设置共享 VPC,请参阅设置共享 VPC
传统网络 您无法从旧版网络连接到 Dataproc Metastore 服务。旧版网络不支持 VPC 网络对等互连。
现有 Dataproc Metastore 服务 您无法更改 Dataproc Metastore 服务所连接的网络。
静态 IP 地址 Dataproc Metastore 服务的专用 IP 地址不会更改。
VPC 网络对等互连 您不能显式创建 VPC 网络对等互连,因为要对等互连的网络是 Google Cloud 内部的网络。创建 Dataproc Metastore 服务后,您可以在 Cloud Console 的 VPC 网络对等互连页面看到其底层 VPC 网络对等互连。对等互连由同一区域和网络中的服务共享。请勿删除它。 如需了解详情,请参阅 VPC 网络对等互连
VPC Service Controls VPC Service Controls 可提高您降低数据渗漏风险的能力。借助 VPC Service Controls,您可以为 Dataproc Metastore 服务创建边界。VPC Service Controls 限制了外部对边界内资源的访问权限。只有边界内的客户端和资源才能彼此互动。如需了解详情,请参阅 VPC Service Controls 概览

此外,还请查看使用 VPC Service Controls 时的 Dataproc Metastore 限制。如需将 VPC Service Controls 与 Dataproc Metastore 搭配使用,请参阅将 VPC Service Controls 与 Dataproc Metastore 搭配使用

传递性对等互连 只有直接对等互连的网络才能进行通信。不支持传递性对等互连。换句话说,如果 VPC 网络 N1 与 N2 和 N3 对等互连,但是 N2 和 N3 未直接连接,则 VPC 网络 N2 不能与 VPC 网络 N3 通过 VPC 网络对等互连进行通信。此外,与您的 Dataproc Metastore 项目网络对等互连的网络中的虚拟机无法访问 Dataproc Metastore。只有 VPC 网络上的主机才能访问 Dataproc Metastore。

一个项目中的 Dataproc Metastore 服务可以使用共享 VPC 网络连接到多个不同项目中的客户端。

后续步骤