Visão geral da rede do metastore do Dataproc

Este documento apresenta uma visão geral das configurações de rede que podem ser usadas para configurar um serviço do metastore do Dataproc.

Referência rápida com tópicos de rede

Configurações de rede Observações
Configurações de rede padrão
Redes VPC Por padrão, os serviços do metastore do Dataproc usam redes VPC para ao Google Cloud.

Depois que a rede VPC é criada, o Metastore do Dataproc também configura automaticamente o Peering de rede VPC para seu serviço.
Sub-redes da VPC Você pode criar serviços do metastore do Dataproc com uma sub-rede da VPC usando o Private Service Connect. Essa é uma alternativa ao uso de redes VPC.
Outras configurações de rede
Redes VPC compartilhadas Também é possível criar um metastore do Dataproc e serviços em uma rede VPC compartilhada.
Rede no local É possível se conectar a um serviço de Metastore do Dataproc com um ambiente local usando o Cloud VPN ou o Cloud Interconnect.
VPC Service Controls Você pode criar serviços do metastore do Dataproc com o VPC Service Controls.
Regras de firewall Em ambientes não padrão ou particulares com um espaço de segurança estabelecido, talvez seja necessário criar suas próprias regras de firewall.

Configurações de rede padrão

A seção a seguir descreve as configurações de rede padrão que Usos do metastore do Dataproc: redes VPC e peering de rede VPC.

Redes VPC

Por padrão, os serviços do metastore do Dataproc usam redes VPC para se conectar ao Google Cloud. Uma rede VPC é uma versão virtual de uma rede física implementada na rede de produção do Google. Quando você cria um metastore do Dataproc, o serviço cria automaticamente a rede VPC para você.

Se você não mudar nenhuma configuração ao criar o serviço, o metastore do Dataproc vai usar a rede VPC default. Com essa configuração, a rede VPC usada com o serviço de metastore do Dataproc pode pertencer ao mesmo projeto do Google Cloud ou a um projeto diferente. Essa configuração também permite expor seu serviço em uma única rede VPC ou tornar seu serviço acessível a partir de várias redes VPC (com o uso de sub-redes).

O metastore do Dataproc requer o seguinte por região para cada rede VPC:

Peering de rede VPC

Depois da criação da rede VPC, o metastore do Dataproc também configura automaticamente o peering de rede VPC para seu serviço. VPC concede ao seu serviço acesso ao metastore do Dataproc protocolos do endpoint. Depois durante a criação do serviço, é possível conferir o peering de rede VPC página Peering de rede VPC no Google Cloud no console do Google Cloud.

O peering de rede VPC não é transitivo. Ou seja, apenas os peerings diretos como as redes podem se comunicar entre si. Por exemplo, considere o seguinte cenário:

Você tem as redes VPC N1, N2 e N3.

  • A rede VPC N1 está pareada com a N2 e a N3.
  • Rede VPC N2 e N3 não estão diretamente conectadas.

O que isso significa?

Com o peering, a rede VPC N2 não consegue se comunicar com a rede VPC N3. Isso afeta as conexões do metastore do Dataproc das seguintes maneiras:

  • Máquinas virtuais em redes com peering na sua rede de projetos do metastore do Dataproc não conseguem acessar o metastore do Dataproc.
  • Somente os hosts na rede VPC podem acessar um serviço do metastore do Dataproc.

Considerações de segurança do peering de rede VPC

  • O tráfego por peering de rede VPC é fornecido com um determinado nível de criptografia. Para mais informações, consulte Criptografia e autenticação de rede virtual do Google Cloud.

  • Como criar uma rede VPC para cada serviço com um IP interno proporciona melhor isolamento da rede do que colocar todos os serviços Rede VPC default.

Sub-redes VPC

O Private Service Connect (PSC) permite configurar uma conexão particular com Metadados do metastore do Dataproc em redes VPC. Com o PSC, você podem criar um serviço sem peering de VPC. Assim, você pode usar seu próprio IP interno para acessar o metastore do Dataproc sem sair da sua VPC redes VPC ou usar endereços IP externo.

Para configurar o Private Service Connect ao criar um serviço, consulte Private Service Connect com o metastore do Dataproc.

Endereços IP

Para se conectar a uma rede e ajudar a proteger seus metadados, os serviços do Dataproc Metastore usam apenas endereços IP internos. Isso significa que os endereços IP públicos não são expostos ou estão disponíveis para fins de rede.

Ao usar um endereço IP interno, o Dataproc Metastore só pode se conectar a máquinas virtuais (VMs) que existem em redes de nuvem privada virtual (VPC) especificadas ou a um ambiente local.

As conexões com um serviço do metastore do Dataproc usando um endereço IP interno usam intervalos de endereços RFC 1918. O uso desses intervalos significa que o metastore do Dataproc aloca um intervalo /17 e um intervalo /20 do espaço de endereço para cada região. Por exemplo, colocar Os serviços do Dataproc Metastore em duas regiões exigem que o o intervalo de endereços IP alocado contém o seguinte:

  • Pelo menos dois blocos de endereços não utilizados de tamanho /17.
  • Pelo menos dois blocos de endereços não utilizados de tamanho /20.

Se os blocos de endereços RFC 1918 não forem encontrados, o metastore do Dataproc encontra blocos de endereços não RFC 1918 adequados. A alocação de blocos não RFC 1918 não considera se esses endereços estão em uso na sua rede VPC ou no local.

Configurações de rede adicionais

Se você precisar de configurações de rede diferentes, use as opções a seguir com seu serviço do metastore do Dataproc.

Rede VPC compartilhada

Você pode criar serviços do Dataproc Metastore em um rede VPC compartilhada. Com uma VPC compartilhada, você pode conectar recursos da metastore do Dataproc de vários projetos a uma rede VPC (VPC) comum.

Para configurar uma VPC compartilhada ao criar um serviço, consulte Criar um serviço do metastore do Dataproc.

Rede no local

É possível se conectar a um serviço do Dataproc Metastore com um ambiente local usando o Cloud VPN ou o Cloud Interconnect.

VPC Service Controls

Os VPC Service Controls melhoram sua capacidade de reduzir o risco de exfiltração de dados. Com o VPC Service Controls, você cria perímetros em torno serviço Metastore do Dataproc. O VPC Service Controls restringe o acesso externo a recursos dentro do perímetro. Somente clientes e recursos dentro do perímetro possam interagir entre si.

Para usar o VPC Service Controls com o metastore do Dataproc, consulte VPC Service Controls com o Metastore do Dataproc. Analise também as limitações do metastore do Dataproc ao usar o VPC Service Controls.

Regras de firewall para o metastore do Dataproc

Em ambientes não padrão ou particulares com um espaço de segurança estabelecido, talvez seja necessário criar suas próprias regras de firewall. Se fizer isso, não crie uma regra de firewall que bloqueie o intervalo de endereços IP ou a porta dos serviços do metastore do Dataproc.

Quando você cria um serviço Metastore do Dataproc, é possível aceitar a rede padrão do serviço. A rede padrão garante acesso total de rede IP às VMs.

Para mais informações gerais sobre regras de firewall, consulte Regras de firewall de VPC e Como usar regras de firewall da VPC.

Criar uma regra de firewall para uma rede personalizada

Ao usar uma rede personalizada, verifique se a regra de firewall permite o tráfego proveniente do e para o endpoint do metastore do Dataproc. Para permitir explicitamente o tráfego do metastore do Dataproc, execute os seguintes comandos gcloud:

gcloud compute firewall-rules create dpms-allow-egress-DPMS_NETWORK-REGION --allow tcp --destination-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK --direction OUT

gcloud compute firewall-rules create dpms-allow-ingress-DPMS_NETWORK-REGION --allow tcp,udp --source-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK

Para DPMS_NET_PREFIX, aplique uma máscara de sub-rede /17 ao IP de serviço do metastore do Dataproc. Encontre seus Informações de endereço IP do metastore do Dataproc no endpointUri na página Detalhes do serviço.

Considerações

As redes têm uma regra de permissão de saída implícita que normalmente permite o acesso da sua rede ao metastore do Dataproc. Se você criar regras de saída de negação que modifiquem a regra implícita de permissão de saída, crie uma regra de permissão de saída com prioridade mais alta para permitir a saída para o IP do metastore do Dataproc.

Alguns recursos, como o Kerberos, exigem que o Metastore do Dataproc inicie conexões com hosts na rede do projeto. Todas as redes têm uma regra de entrada de negação implícita que bloqueia essas conexões e impede que esses recursos funcionem. Crie uma regra de firewall que permita a entrada TCP e UDP em todas as portas do bloco de IP /17 que contém o IP do metastore do Dataproc.

Roteamento personalizado

Rotas personalizadas são para sub-redes que usam IP público usado de maneira privada endereços IP internos (PUPI). As rotas personalizadas permitem que a rede VPC se conecte a uma rede peer. As rotas personalizadas só podem ser recebidas quando sua rede VPC as importa e a e a rede de peering os exporta explicitamente. Rotas personalizadas podem ser estáticas ou dinâmicas.

O compartilhamento de rotas personalizadas com redes VPC com peering permite que as redes "aprendam" rotas diretamente das redes com peering. Isso significa que, quando uma rota personalizada em uma rede com peering é atualizada, sua rede VPC aprende e implementa a rota personalizada sem que você precise fazer nada.

Para mais informações sobre o roteamento personalizado, consulte Configuração de rede.

Exemplo de rede do metastore do Dataproc

No exemplo a seguir, o Google aloca os intervalos de endereços 10.100.0.0/17 e 10.200.0.0/20 na rede VPC do cliente para serviços do Google e usa os intervalos de endereços em uma rede VPC com peering.

INSERT ALT TEXT HERE
Figura 1. Configuração da rede VPC do Dataproc Metastore

Descrição do exemplo de rede:

  • No lado dos serviços do Google em relação ao peering de VPC, o Google cria um projeto para o cliente. O projeto é isolado, o que significa que ele não é compartilhado com nenhum outro cliente e o cliente é cobrado apenas pelos recursos provisionados.
  • Ao criar o primeiro serviço Metastore do Dataproc em um região, o metastore do Dataproc aloca um intervalo de /17 e um Intervalo /20 na rede do cliente para todos os períodos uso dos serviços do Dataproc Metastore nessa região e em uma rede VPC. O metastore do Dataproc subdivida ainda mais esses intervalos para criar sub-redes e intervalos de endereços no projeto de produtor de serviços.
  • Os serviços de VM na rede do cliente podem acessar os recursos do serviço Metastore do Dataproc em qualquer região, se o serviço do Google Cloud for compatível com ele. Alguns serviços do Google Cloud podem não oferecer suporte à comunicação entre regiões.
  • Os custos de saída para tráfego entre regiões, em que uma instância de VM se comunica com recursos de uma região diferente, ainda se aplicam.
  • O Google atribui ao serviço do metastore do Dataproc o endereço IP 10.100.0.100. Na rede VPC do cliente, as solicitações com um destino de 10.100.0.100 são roteadas por meio do peering de VPC para a rede do fornecedor de serviços. Quando elas alcançam a rede do serviço, essa rede encaminha a solicitação para o recurso correto.
  • O tráfego entre redes VPC é transmitido internamente pela rede do Google, e não pela Internet pública.

A seguir