Vista geral da rede do Dataproc Metastore

Este documento fornece uma vista geral das definições de rede que pode usar para configurar um serviço do Dataproc Metastore.

Referência rápida para tópicos de redes

Definições de rede Notas
Predefinições de rede
Redes VPC Por predefinição, os serviços do Dataproc Metastore usam redes VPC para estabelecer ligação a Google Cloud.

Depois de criar a rede VPC, o Dataproc Metastore também configura automaticamente o VPC Network Peering para o seu serviço.
Sub-redes da VPC Opcionalmente, pode optar por criar serviços do Dataproc Metastore com uma sub-rede da VPC através do Private Service Connect. Esta é uma alternativa à utilização de redes de VPC.
Definições de rede adicionais
Redes VPC partilhadas Opcionalmente, pode optar por criar serviços do Dataproc Metastore numa rede de VPC partilhada.
Redes no local Pode ligar-se a um serviço Dataproc Metastore com um ambiente no local através do Cloud VPN ou do Cloud Interconnect.
VPC Service Controls Opcionalmente, pode optar por criar serviços do Dataproc Metastore com os VPC Service Controls.
Regras de firewall Em ambientes não predefinidos ou privados com uma área de segurança estabelecida, pode ter de criar as suas próprias regras de firewall.

Predefinições de rede

A secção seguinte descreve as predefinições de rede que o Dataproc Metastore usa: redes VPC e interligação de redes VPC.

Redes da VPC

Por predefinição, os serviços do Dataproc Metastore usam redes de VPC para estabelecer ligação a Google Cloud. Uma rede VPC é uma versão virtual de uma rede física que é implementada na rede de produção da Google. Quando cria um Dataproc Metastore, o serviço cria automaticamente a rede VPC.

Se não alterar nenhuma definição quando criar o serviço, o Dataproc Metastore usa a rede VPC default. Com esta definição, a rede VPC que usa com o serviço Dataproc Metastore pode pertencer ao mesmo projeto Google Cloud ou a um projeto diferente. Esta definição também lhe permite expor o seu serviço numa única rede VPC ou tornar o seu serviço acessível a partir de várias redes VPC (através da utilização de sub-redes).

O Dataproc Metastore requer o seguinte por região para cada rede de VPC:

Intercâmbio de redes da VPC

Após a criação da rede VPC, o Dataproc Metastore também configura automaticamente o intercâmbio da rede VPC para o seu serviço. A VPC fornece ao seu serviço acesso aos protocolos de endpoint do Dataproc Metastore. Depois de criar o serviço, pode ver o intercâmbio da rede da VPC subjacente na página Intercâmbio da rede da VPC na consola Google Cloud.

O intercâmbio das redes da VPC não é transitivo. Isto significa que apenas as redes com intercâmbio direto podem comunicar entre si. Por exemplo, considere o seguinte cenário:

Tem as seguintes redes: rede da VPC N1, N2 e N3.

  • A rede da VPC N1 está sincronizada com a N2 e a N3.
  • A rede da VPC N2 e a N3 não estão diretamente ligadas.

O que é que isto significa?

Significa que, através do intercâmbio das redes da VPC, a rede da VPC N2 não pode comunicar com a rede da VPC N3. Isto afeta as ligações do Dataproc Metastore das seguintes formas:

  • As máquinas virtuais que estão em redes com peering com a rede do projeto do Dataproc Metastore não conseguem alcançar o Dataproc Metastore.
  • Apenas os anfitriões na rede VPC podem alcançar um serviço de Metastore do Dataproc.

Considerações de segurança do intercâmbio da rede da VPC

  • O tráfego através do intercâmbio da rede da VPC é fornecido com um determinado nível de encriptação. Para mais informações, consulte o artigo Encriptação e autenticação de rede virtual do Google Cloud.

  • A criação de uma rede VPC para cada serviço com um endereço IP interno oferece um melhor isolamento da rede do que colocar todos os serviços na rede VPC default.

Sub-redes da VPC

O Private Service Connect (PSC) permite-lhe configurar uma ligação privada aos metadados do Dataproc Metastore em redes VPC. Com o PSC, pode criar um serviço sem interconexão de VPCs. Isto permite-lhe usar os seus próprios endereços IP internos para aceder ao Dataproc Metastore, sem sair das suas redes de VPC nem usar endereços IP externos.

Para configurar o Private Service Connect ao criar um serviço, consulte o artigo Private Service Connect com o Dataproc Metastore.

Moradas IP

Para estabelecer ligação a uma rede e ajudar a proteger os seus metadados, os serviços do Dataproc Metastore usam apenas endereços IP internos. Isto significa que os endereços IP públicos não são expostos nem estão disponíveis para fins de rede.

Ao usar um endereço IP interno, o Dataproc Metastore só pode estabelecer ligação a máquinas virtuais (VMs) que existam em redes da nuvem privada virtual (VPC) especificadas ou num ambiente no local.

As ligações a um serviço Dataproc Metastore através de um endereço IP interno usam intervalos de endereços RFC 1918. A utilização destes intervalos significa que o Dataproc Metastore atribui um intervalo /17 e um intervalo /20 do espaço de endereços para cada região. Por exemplo, a colocação de serviços do Dataproc Metastore em duas regiões requer que o intervalo de endereços IP atribuído contenha o seguinte:

  • Pelo menos dois blocos de endereços não usados de tamanho /17.
  • Pelo menos dois blocos de endereços não usados de tamanho /20.

Se não forem encontrados blocos de endereços RFC 1918, o Dataproc Metastore encontra blocos de endereços não RFC 1918 adequados. Tenha em atenção que a atribuição de blocos não RFC 1918 não tem em conta se esses endereços estão ou não a ser usados na sua rede VPC ou no local.

Definições de rede adicionais

Se precisar de definições de rede diferentes, pode usar as seguintes opções com o seu serviço Dataproc Metastore.

Rede de VPC partilhada

Pode criar serviços do Dataproc Metastore numa rede de VPC partilhada. Uma VPC partilhada permite-lhe ligar recursos do Dataproc Metastore de vários projetos a uma rede VPC comum.

Para configurar uma VPC partilhada quando criar um serviço, consulte o artigo Crie um serviço de Metastore do Dataproc.

Redes nas instalações

Pode ligar-se a um serviço do Dataproc Metastore com um ambiente no local através do Cloud VPN ou do Cloud Interconnect.

VPC Service Controls

Os VPC Service Controls melhoram a sua capacidade de mitigar o risco de exfiltração de dados. Com os VPC Service Controls, cria perímetros em torno do serviço Dataproc Metastore. Os VPC Service Controls restringem o acesso a recursos no perímetro a partir do exterior. Apenas os clientes e os recursos no perímetro podem interagir entre si.

Para usar os VPC Service Controls com o Dataproc Metastore, consulte o artigo VPC Service Controls com o Dataproc Metastore. Reveja também as limitações do Metastore do Dataproc quando usar os VPC Service Controls.

Regras de firewall para o Dataproc Metastore

Em ambientes não predefinidos ou privados com uma pegada de segurança estabelecida, pode ter de criar as suas próprias regras de firewall. Se o fizer, não crie uma regra de firewall que bloqueie o intervalo de endereços IP ou a porta dos seus serviços do Dataproc Metastore.

Quando cria um serviço de Metastore do Dataproc, pode aceitar a rede predefinida para o serviço. A rede predefinida garante o acesso total à rede IP interna para as suas VMs.

Para mais informações gerais sobre as regras de firewall, consulte Regras de firewall da VPC e Usar regras de firewall da VPC.

Crie uma regra de firewall para uma rede personalizada

Quando usa uma rede personalizada, certifique-se de que a regra de firewall permite o tráfego de entrada e saída para o ponto final do Dataproc Metastore. Para permitir explicitamente o tráfego do Dataproc Metastore, execute os seguintes comandos gcloud:

gcloud compute firewall-rules create dpms-allow-egress-DPMS_NETWORK-REGION --allow tcp --destination-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK --direction OUT

gcloud compute firewall-rules create dpms-allow-ingress-DPMS_NETWORK-REGION --allow tcp,udp --source-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK

Para DPMS_NET_PREFIX, aplique uma máscara de sub-rede /17 ao IP do serviço Dataproc Metastore. Pode encontrar as informações do endereço IP do Dataproc Metastore na configuração endpointUri na página Detalhes do serviço.

Considerações

As redes têm uma regra de saída de permissão implícita que normalmente permite o acesso da sua rede ao Metastore do Dataproc. Se criar regras de negação de saída que substituam a regra de permissão de saída implícita, deve criar uma regra de permissão de saída com uma prioridade mais elevada para permitir a saída para o IP do Dataproc Metastore.

Algumas funcionalidades, como o Kerberos, requerem que o Dataproc Metastore inicie ligações a anfitriões na rede do seu projeto. Todas as redes têm uma regra de negação implícita de entrada que bloqueia estas ligações e impede o funcionamento dessas funcionalidades. Deve criar uma regra de firewall que permita a entrada de TCP e UDP em todas as portas a partir do /17 bloco de IP que contém o IP do Dataproc Metastore.

Encaminhamento personalizado

Os trajetos personalizados destinam-se a sub-redes que usam endereços IP públicos usados de forma privada (PUPI). As rotas personalizadas permitem que a sua rede VPC se ligue a uma rede de pares. Os encaminhamentos personalizados só podem ser recebidos quando a sua rede VPC os importa e a rede par os exporta explicitamente. Os encaminhamentos personalizados podem ser estáticos ou dinâmicos.

A partilha de trajetos personalizados com redes VPC interligadas permite que as redes "aprendam" trajetos diretamente das respetivas redes interligadas. Isto significa que, quando uma rota personalizada numa rede com peering é atualizada, a sua rede VPC aprende e implementa automaticamente a rota personalizada sem que seja necessária qualquer ação adicional da sua parte.

Para mais informações sobre o encaminhamento personalizado, consulte a configuração de rede.

Exemplo de rede do Dataproc Metastore

No exemplo seguinte, a Google atribui os intervalos de endereços 10.100.0.0/17 e 10.200.0.0/20 na rede VPC do cliente para os serviços Google e usa os intervalos de endereços numa rede VPC com intercâmbio.

INSERT ALT TEXT HERE
Figura 1. Configuração da rede da VPC do Dataproc Metastore

Descrição do exemplo de rede:

  • No lado dos serviços Google do intercâmbio de VPC, a Google cria um projeto para o cliente. O projeto está isolado, o que significa que nenhum outro cliente o partilha e o cliente só é faturado pelos recursos que aprovisiona.
  • Quando cria o primeiro serviço de Metastore do Dataproc numa região, o Metastore do Dataproc atribui um intervalo /17 e um intervalo /20 na rede do cliente para toda a utilização futura de serviços de Metastore do Dataproc nessa região e rede. O Dataproc Metastore subdivide ainda mais estes intervalos para criar sub-redes e intervalos de endereços no projeto do produtor de serviços.
  • Os serviços de VM na rede do cliente podem aceder aos recursos do serviço Dataproc Metastore em qualquer região se o serviço o suportar.Google Cloud Alguns Google Cloud serviços podem não suportar a comunicação entre regiões.
  • Os custos de saída para tráfego entre regiões, em que uma instância de VM comunica com recursos numa região diferente, continuam a aplicar-se.
  • A Google atribui ao serviço Dataproc Metastore o endereço IP 10.100.0.100. Na rede VPC do cliente, os pedidos com um destino de 10.100.0.100 são encaminhados através da interligação de VPC para a rede do produtor de serviços. Depois de chegar à rede de serviços, a rede de serviços contém rotas que direcionam o pedido para o recurso correto.
  • O tráfego entre redes VPC desloca-se internamente na rede da Google e não através da Internet pública.

O que se segue?