Dataproc Metastore 网络概览

本文档简要介绍了可用于设置 启动 Dataproc Metastore 服务。

网络主题快速参考

网络设置 备注
默认网络设置
VPC 网络 默认情况下，Dataproc Metastore 服务使用 VPC 网络 连接到 Google Cloud。

创建 VPC 网络后，Dataproc Metastore 还会 会自动配置 VPC 网络对等互连 。
VPC 子网 您可以选择创建 Dataproc Metastore 连接到 VPC 子网。 这是使用 VPC 网络的替代方案。
其他广告联盟设置
共享 VPC 网络 您可以选择创建 Dataproc Metastore 共享 VPC 网络中的服务。
本地网络 您可以使用以下命令连接到 Dataproc Metastore 服务： 在本地环境中使用 Cloud VPN 或 Cloud Interconnect。
VPC Service Controls 您可以选择创建 Dataproc Metastore VPC Service Controls
防火墙规则 在已建立安全性的非默认环境或私有环境中 您可能需要创建自己的防火墙规则。

默认网络设置

以下部分介绍了默认网络设置 Dataproc Metastore 使用 - VPC 网络和 VPC 网络对等互连。

VPC 网络

默认情况下，Dataproc Metastore 服务使用 VPC 网络连接到 Google Cloud。VPC 网络是物理网络的虚拟版本，在 Google 的生产网络内实现。创建 Dataproc Metastore 时，该服务会自动 可为您创建 VPC 网络。

如果您在创建服务时未更改任何设置，Dataproc Metastore 将使用 default VPC 网络。通过此设置，您用于 Dataproc Metastore 的 VPC 网络 服务可以属于同一 Google Cloud 项目，也可以属于其他项目。 通过此设置，您还可以在单个 VPC 网络中或 使您的服务可从多个 VPC 网络访问（通过使用子网）。

Dataproc Metastore 要求每个 VPC 网络中的每个区域都满足以下要求：

VPC 网络对等互连

创建 VPC 网络后，Dataproc Metastore 还会自动为您的服务配置 VPC 网络对等互连。VPC 为您的服务提供对 Dataproc Metastore 的访问权限 端点协议。更新后 创建服务后，您可以看到其底层 VPC 网络对等互联 Google Cloud 中的 VPC 网络对等互连页面 控制台。

VPC 网络对等互连不具有传递性。这意味着 网络之间可以相互通信例如，请考虑以下 场景：

您具有以下网络：VPC 网络 N1、N2 和 N3。

  • VPC 网络 N1 与 N2 和 N3 配对。
  • VPC 网络 N2 和 N3 未直接连接。

这意味着什么？

这意味着 VPC 网络 N2 不能通过 VPC 网络对等互连进行通信， 连接到 VPC 网络 N3这会影响 Dataproc Metastore 连接 方式：

  • 与您的 Dataproc Metastore 项目网络对等互连的网络中的虚拟机无法访问 Dataproc Metastore。
  • 只有 VPC 网络上的主机可以访问 Dataproc Metastore 服务。

VPC 网络对等互连安全注意事项

  • 通过 VPC 网络对等互连的流量会经过特定级别的加密。如需了解详情，请参阅 Google Cloud 虚拟网络 加密和身份验证”。

  • 与将所有服务置于 default VPC 网络中相比，为每个具有内部 IP 地址的服务创建一个 VPC 网络可实现更好的网络隔离。

VPC 子网

借助 Private Service Connect (PSC)，您可以跨 VPC 网络与 Dataproc Metastore 元数据建立专用连接。借助 PSC，您可以创建不使用 VPC 对等互连的服务。这样你就可以使用自己的内部 IP 访问 Dataproc Metastore，而无需离开您的 VPC 网络或使用外部 IP 地址。

如需在创建服务时设置 Private Service Connect，请参阅 Private Service Connect 与 Dataproc Metastore 搭配使用。

IP 地址

如需连接到网络并帮助保护您的元数据，请按以下步骤操作： Dataproc Metastore 服务仅使用内部 IP 地址。这个 意味着公共 IP 地址不会公开，也不会用于网络 目的。

通过使用内部 IP 地址，Dataproc Metastore 只能 连接至指定虚拟私有云上存在的虚拟机 (VM) (VPC) 网络或本地环境。

使用内部 IP 地址与 Dataproc Metastore 服务的连接会使用 RFC 1918 地址范围。使用这些范围意味着 Dataproc Metastore 会从每个区域的地址空间分配一个 /17 范围和一个 /20 范围。例如，将 两个区域中的 Dataproc Metastore 服务要求 分配的 IP 地址范围包含以下内容：

  • 至少两个大小为 /17 的未使用地址块。
  • 至少两个大小为 /20 的未使用的地址块。

如果找不到 RFC 1918 地址块，则 Dataproc Metastore 会改为查找合适的非 RFC 1918 地址块。请注意，分配非 RFC 1918 块时，不考虑这些地址是否在 VPC 网络或本地中使用。

其他网络设置

如果您需要其他网络设置，可以将以下选项与 Dataproc Metastore 服务搭配使用。

共享 VPC 网络

您可以在 共享 VPC 网络。借助共享 VPC Dataproc Metastore 资源从多个项目复制到 VPC (VPC) 网络。

要在创建服务时设置共享 VPC，请参阅创建 Dataproc Metastore 服务。

本地网络

您可以通过本地连接到 Dataproc Metastore 服务 Cloud VPN 或 Cloud Interconnect 管理环境。

VPC Service Controls

VPC Service Controls 可帮助您降低数据风险的能力 数据渗漏。借助 VPC Service Controls，您可以为 Dataproc Metastore 服务。VPC Service Controls 管理外部的资源。仅限客户端和资源 在边界内的应用可以相互交互

如需将 VPC Service Controls 与 Dataproc Metastore 搭配使用，请参阅将 VPC Service Controls 与 Dataproc Metastore 搭配使用。另请评价 使用 VPC 服务时的 Dataproc Metastore 限制 控件。

Dataproc Metastore 的防火墙规则

在已确定存在安全隐患的非默认环境或专用环境中，您可能需要创建自己的防火墙规则。如果有， 请勿创建屏蔽 IP 地址范围或 Dataproc Metastore 服务的端口。

创建 Dataproc Metastore 服务时，您可以接受该服务的默认网络。默认网络可确保您虚拟机的完整内部 IP 网络访问权限。

如需了解防火墙规则的更多常规信息，请参阅 VPC 防火墙规则 和使用 VPC 防火墙规则。

为自定义网络创建防火墙规则

使用自定义网络时，请确保您的防火墙规则允许流量 Dataproc Metastore 端点的传入和传出流量。接收者 明确允许 Dataproc Metastore 流量，请运行以下命令： gcloud 命令：

gcloud compute firewall-rules create dpms-allow-egress-DPMS_NETWORK-REGION --allow tcp --destination-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK --direction OUT

gcloud compute firewall-rules create dpms-allow-ingress-DPMS_NETWORK-REGION --allow tcp,udp --source-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK

对于 DPMS_NET_PREFIX，请将 /17 子网掩码应用于 Dataproc Metastore 服务 IP 地址。您可以在 Dataproc Metastore endpointUri 配置（位于服务详情页面上）。

注意事项

网络具有隐式允许出站规则，通常允许 复制到 Dataproc Metastore。如果您创建拒绝出站流量 覆盖隐式允许出站规则的规则，那么您应该创建允许 具有更高优先级的出站规则，以允许 Dataproc Metastore IP。

Kerberos 等一些功能要求 Dataproc Metastore 启动与项目网络中的主机的连接。所有网络都有隐式拒绝入站规则，以阻止这些连接并阻止这些功能发挥作用。您应创建一条防火墙规则，以允许来自包含 Dataproc Metastore IP 的 /17 IP 地址块中的所有端口上的 TCP 和 UDP 入站流量。

自定义路由

自定义路由适用于使用以非公开方式使用的公共 IP 地址 (PUPI) 的子网。自定义路由允许您的 VPC 网络连接到对等网络。 只有在您的 VPC 网络导入自定义路由，并且 对等网络会明确导出它们。自定义路由可以是静态路由，也可以是 。

与对等互连的 VPC 网络共享自定义路由可让网络“学习”路由 直接从其对等互连的网络中获取数据也就是说，当自定义路由 出现变动时，您的 VPC 网络会自动获知 无需您执行任何其他操作即可实现自定义路由。

如需详细了解自定义路由，请参阅网络配置。

Dataproc Metastore 网络示例

在以下示例中，Google 会在客户 VPC 网络中为 Google 服务分配 10.100.0.0/17 和 10.200.0.0/20 地址范围，并使用对等互连 VPC 网络中的地址范围。

在此处插入替代文本
图 1. Dataproc Metastore VPC 网络配置

网络示例的说明：

  • 在 VPC 对等互连的 Google 服务端，Google 为客户创建项目。该项目是孤立的，这意味着 客户只需为这些资源付费 客户条款。
  • 在一个区域中创建第一个 Dataproc Metastore 服务时，Dataproc Metastore 会在客户网络中，针对该区域和网络中的所有 Dataproc Metastore 服务使用分配 /17 范围和 /20 范围。Dataproc Metastore 会进一步细分这些范围 用于在服务提供方项目中创建子网和地址范围
  • 如果 Google Cloud 服务支持，则客户网络中的虚拟机服务可以访问任何区域的 Dataproc Metastore 服务资源。某些 Google Cloud 服务 可能不支持跨区域通信。
  • 跨区域流量（在这种情况下，虚拟机实例会与不同区域的资源进行通信）的出站费用仍然需要支付。
  • Google 会为 Dataproc Metastore 服务分配 IP 地址 10.100.0.100。在客户 VPC 网络中，目标为 10.100.0.100 的请求将通过 VPC 对等互连路由到服务提供方的网络。到达服务后 网络，服务网络包含将请求定向到 正确的资源。
  • VPC 网络之间的流量在内部传输 Google 网络，而不是通过公共互联网。

后续步骤