为 Dataproc Metastore 配置网络访问权限

本页面详细介绍了如何为 Dataproc Metastore 实例配置网络访问权限。正确的网络设置对于 Dataproc 集群和 Dataproc Serverless 工作负载与受管理的 Dataproc Metastore 服务进行安全私密的通信至关重要。

主要网络概念

Dataproc Metastore 实例通常位于 Google 管理的服务提供方网络中，并使用专用连接与您的虚拟私有云网络进行通信。了解以下概念对于成功设置至关重要：

  • 共享 Virtual Private Cloud：如果您的 Dataproc 集群或 Dataproc Serverless 工作负载位于使用宿主项目中的共享 Virtual Private Cloud 网络的服务项目中，请验证是否已在宿主项目中进行适当的网络配置。如需了解详情，请参阅共享虚拟私有云概览。
  • 专用 Google 访问通道：Dataproc Metastore 实例通常依赖专用 Google 访问通道与您的 Virtual Private Cloud 网络进行私密通信。这样一来，虚拟私有云 (VPC) 中的虚拟机 (VM) 实例便可以使用内部 IP 地址连接到 Google API 和服务。如需了解详情，请参阅专用 Google 访问通道。
  • VPC 网络对等互连：此机制可在两个 Virtual Private Cloud 网络之间建立专用 IP 连接，从而使一个网络中的资源能够使用内部 IP 地址与另一个网络中的资源进行通信。Dataproc Metastore 在设置过程中会与您的虚拟私有云网络建立受管理的 VPC 网络对等互连连接。如需了解详情，请参阅 VPC 网络对等互连。
  • 防火墙规则：必须有适当的防火墙规则，才能允许 Dataproc 工作负载与 Dataproc Metastore 实例之间的流量。
  • Cloud DNS 解析：验证虚拟私有云网络中的 DNS 解析是否已正确配置，以将 Dataproc Metastore 端点 URI 解析为其专用 IP 地址。

配置步骤

如需验证 Dataproc Metastore 实例的网络访问权限是否正常，请按以下步骤操作：

1. 配置 Private Services Access

Dataproc Metastore 使用 Private Service Access 在您的 Virtual Private Cloud 网络与 Dataproc Metastore 实例所在的 Google 代管式服务提供方网络之间建立专用连接。

  • 验证专用服务访问通道连接：
    1. 在 Google Cloud 控制台中，依次前往 Virtual Private Cloud 网络 > VPC 网络对等互连。
    2. 验证名为 servicenetworking-googleapis-com 的对等互连连接是否存在，以及其状态是否为 ACTIVE。
    3. 如果此连接缺失或未处于活跃状态，请按照配置专用服务访问通道中的说明进行操作。 这包括为服务提供方网络分配 IP 地址范围。

2. 配置防火墙规则

验证 Virtual Private Cloud 网络（或共享 Virtual Private Cloud 主机项目，如果适用）中的防火墙规则是否允许必要的流量。

  • 从工作负载到 Metastore 的出站规则：
    • 验证出站防火墙规则是否允许从 Dataproc 集群或 Dataproc 无服务器工作负载到 Dataproc Metastore 实例的 IP 地址范围（端口 9083）的出站 TCP 流量。这是 Hive Metastore 的默认端口。
    • 如果使用专用服务访问通道，则此流量将以非公开方式路由。
  • 入站规则（客户端到 Metastore 的流量较少）：
    • 一般来说，您无需在虚拟私有云上配置入站规则，以允许流量从 Dataproc Metastore 实例流向工作负载，因为通信通常源自工作负载。不过，请验证是否存在过于严格的入站流量规则，以免无意中阻止必要的响应。

3. 验证 DNS 解析

您的 Dataproc 工作负载需要将 Dataproc Metastore 端点 URI 解析为其专用 IP 地址。

  • DNS 对等互连或专用区域：如果您使用的是自定义 DNS 服务器或专用 Cloud DNS 区域，请验证 Dataproc Metastore 端点（例如your-metastore-endpoint.us-central1.dataproc.cloud.google.com）是否正确转发或解析为专用服务访问通道使用的专用 IP 范围。
  • 测试 DNS 解析：从与 Dataproc 工作负载位于同一子网中的虚拟机，使用 nslookup 或 dig 验证 Dataproc Metastore 端点是否解析为专用 IP 地址。

排查网络连接问题

如果您在配置网络访问权限后遇到连接问题，请考虑执行以下问题排查步骤：

后续步骤