Visão geral da rede do metastore do Dataproc

Este documento apresenta uma visão geral das configurações de rede que podem ser usadas para configurar um serviço do metastore do Dataproc.

Referência rápida com tópicos de rede

Configurações de rede Observações
Configurações de rede padrão
Redes VPC Por padrão, os serviços do Dataproc Metastore usam redes VPC para se conectar ao Google Cloud.

Depois que a rede VPC é criada, o Metastore do Dataproc também configura automaticamente o Peering de rede VPC para seu serviço.
Sub-redes da VPC Você pode criar serviços do metastore do Dataproc com uma sub-rede da VPC usando o Private Service Connect. Essa é uma alternativa ao uso de redes VPC.
Outras configurações de rede
Redes VPC compartilhadas Você pode criar serviços do Dataproc Metastore em uma rede VPC compartilhada.
Rede local É possível se conectar a um serviço de metastore do Dataproc com um ambiente local usando o Cloud VPN ou o Cloud Interconnect.
VPC Service Controls Você pode criar serviços do metastore do Dataproc com o VPC Service Controls.
Regras de firewall Em ambientes não padrão ou particulares com um espaço de segurança estabelecido, talvez seja necessário criar suas próprias regras de firewall.

Configurações de rede padrão

A seção a seguir descreve as configurações de rede padrão usadas pelo Dataproc Metastore: redes VPC e peering de rede VPC.

Redes VPC

Por padrão, os serviços do metastore do Dataproc usam redes VPC para se conectar ao Google Cloud. Uma rede VPC é uma versão virtual de uma rede física, implementada dentro da rede de produção do Google. Quando você cria um metastore do Dataproc, o serviço cria automaticamente a rede VPC para você.

Se você não mudar nenhuma configuração ao criar o serviço, o metastore do Dataproc vai usar a rede VPC default. Com essa configuração, a rede VPC usada com o serviço de metastore do Dataproc pode pertencer ao mesmo projeto do Google Cloud ou a um projeto diferente. Essa configuração também permite expor seu serviço em uma única rede VPC ou tornar o serviço acessível em várias redes VPC (usando sub-redes).

O metastore do Dataproc requer o seguinte por região para cada rede VPC:

Peering de rede VPC

Depois que a rede VPC é criada, o Metastore do Dataproc também configura automaticamente o Peering de rede VPC para seu serviço. A VPC oferece ao serviço acesso aos protocolos de endpoint do metastore do Dataproc. Depois de criar o serviço, você poderá conferir o peering de rede VPC subjacente na página Peering de rede VPC no console do Google Cloud.

O peering de rede VPC não é transitivo. Isso significa que apenas redes com peering direto podem se comunicar entre si. Por exemplo, considere o seguinte cenário:

Você tem as seguintes redes: rede VPC N1, N2 e N3.

  • A rede VPC N1 é pareada com a N2 e a N3.
  • Rede VPC N2 e N3 não estão conectadas diretamente.

O que isso significa?

Isso significa que, pelo Peering de rede VPC, a rede VPC N2 não pode se comunicar com a rede VPC N3. Isso afeta as conexões do Dataproc Metastore das seguintes maneiras:

  • Máquinas virtuais em redes com peering na sua rede de projetos do metastore do Dataproc não conseguem acessar o metastore do Dataproc.
  • Somente os hosts na rede VPC podem acessar um serviço do metastore do Dataproc.

Considerações de segurança do peering de rede VPC

  • O tráfego por peering de rede VPC é fornecido com um determinado nível de criptografia. Para mais informações, consulte Criptografia e autenticação de rede virtual do Google Cloud.

  • A criação de uma rede VPC para cada serviço com um endereço IP interno oferece um isolamento de rede melhor do que colocar todos os serviços na rede VPC default.

Sub-redes VPC

O Private Service Connect (PSC) permite configurar uma conexão particular com os metadados do metastore do Dataproc nas redes VPC. Com o PSC, é possível criar um serviço sem peering de VPC. Isso permite que você use seus próprios endereços IP internos para acessar o Metastore do Dataproc, sem sair das suas redes VPC ou usar endereços IP externo.

Para configurar o Private Service Connect ao criar um serviço, consulte Private Service Connect com o metastore do Dataproc.

Endereços IP

Para se conectar a uma rede e ajudar a proteger seus metadados, os serviços do Dataproc Metastore usam apenas endereços IP internos. Isso significa que os endereços IP públicos não são expostos ou estão disponíveis para fins de rede.

Ao usar um endereço IP interno, o Dataproc Metastore só pode se conectar a máquinas virtuais (VMs) que existem em redes de nuvem privada virtual (VPC) especificadas ou a um ambiente local.

As conexões com um serviço do metastore do Dataproc usando um endereço IP interno usam intervalos de endereços RFC 1918. O uso desses intervalos significa que o metastore do Dataproc aloca um intervalo /17 e um intervalo /20 do espaço de endereço para cada região. Por exemplo, para colocar os serviços do metastore do Dataproc em duas regiões, é necessário que o intervalo de endereços IP alocado contenha o seguinte:

  • Pelo menos dois blocos de endereços não utilizados de tamanho /17.
  • Pelo menos dois blocos de endereços não utilizados de tamanho /20.

Se os blocos de endereços RFC 1918 não forem encontrados, o Metastore do Dataproc vai encontrar blocos de endereços não RFC 1918 adequados. A alocação de blocos não RFC 1918 não considera se esses endereços estão em uso na sua rede VPC ou no local.

Outras configurações de rede

Se você precisar de configurações de rede diferentes, use as opções a seguir com seu serviço do metastore do Dataproc.

Rede VPC compartilhada

É possível criar serviços do metastore do Dataproc em uma rede VPC compartilhada. Com uma VPC compartilhada, você pode conectar recursos da metastore do Dataproc de vários projetos a uma rede VPC (VPC) comum.

Para configurar uma VPC compartilhada ao criar um serviço, consulte Criar um serviço do metastore do Dataproc.

Rede local

É possível se conectar a um serviço do Dataproc Metastore com um ambiente local usando o Cloud VPN ou o Cloud Interconnect.

VPC Service Controls

Os VPC Service Controls melhoram sua capacidade de reduzir o risco de exfiltração de dados. Com o VPC Service Controls, você cria perímetros em torno do serviço do metastore do Dataproc. O VPC Service Controls restringe o acesso externo a recursos dentro do perímetro. Somente clientes e recursos dentro do perímetro podem interagir entre si.

Para usar o VPC Service Controls com o metastore do Dataproc, consulte VPC Service Controls com o metastore do Dataproc. Analise também as limitações do metastore do Dataproc ao usar o VPC Service Controls.

Regras de firewall para o metastore do Dataproc

Em ambientes não padrão ou particulares com um espaço de segurança estabelecido, talvez seja necessário criar suas próprias regras de firewall. Se fizer isso, não crie uma regra de firewall que bloqueie o intervalo de endereços IP ou a porta dos serviços do metastore do Dataproc.

Quando você cria um serviço Metastore do Dataproc, é possível aceitar a rede padrão do serviço. A rede padrão garante acesso total de rede IP às VMs.

Para informações mais gerais sobre regras de firewall, consulte Regras de firewall da VPC e Como usar regras de firewall da VPC.

Criar uma regra de firewall para uma rede personalizada

Ao usar uma rede personalizada, verifique se a regra de firewall permite o tráfego proveniente do e para o endpoint do metastore do Dataproc. Para permitir explicitamente o tráfego do metastore do Dataproc, execute os seguintes comandos gcloud:

gcloud compute firewall-rules create dpms-allow-egress-DPMS_NETWORK-REGION --allow tcp --destination-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK --direction OUT

gcloud compute firewall-rules create dpms-allow-ingress-DPMS_NETWORK-REGION --allow tcp,udp --source-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK

Para DPMS_NET_PREFIX, aplique uma máscara de sub-rede /17 ao IP de serviço do metastore do Dataproc. É possível encontrar as informações do endereço IP do metastore do Dataproc na configuração endpointUri na página Detalhes do serviço.

Considerações

As redes têm uma regra de permissão de saída implícita que normalmente permite o acesso da sua rede ao metastore do Dataproc. Se você criar regras de saída de negação que modifiquem a regra implícita de permissão de saída, crie uma regra de permissão de saída com prioridade mais alta para permitir a saída para o IP do metastore do Dataproc.

Alguns recursos, como o Kerberos, exigem que o Metastore do Dataproc inicie conexões com hosts na rede do projeto. Todas as redes têm uma regra de entrada de negação implícita que bloqueia essas conexões e impede que esses recursos funcionem. Crie uma regra de firewall que permita a entrada TCP e UDP em todas as portas do bloco de IP /17 que contém o IP do metastore do Dataproc.

Roteamento personalizado

As rotas personalizadas são para sub-redes que usam endereços IP públicos de uso particular (PUPI). As rotas personalizadas permitem que a rede VPC se conecte a uma rede peer. As rotas personalizadas só podem ser recebidas quando a rede VPC as importa e a rede com peering as exporta explicitamente. As rotas personalizadas podem ser estáticas ou dinâmicas.

O compartilhamento de rotas personalizadas com redes VPC com peering permite que as redes "aprendam" rotas diretamente das redes com peering. Isso significa que, quando uma rota personalizada em uma rede com peering é atualizada, a rede VPC aprende e implementa a rota personalizada automaticamente sem exigir nenhuma ação adicional.

Para mais informações sobre o roteamento personalizado, consulte Configuração de rede.

Exemplo de rede do metastore do Dataproc

No exemplo a seguir, o Google aloca os intervalos de endereços 10.100.0.0/17 e 10.200.0.0/20 na rede VPC do cliente para serviços do Google e usa os intervalos de endereços em uma rede VPC com peering.

INSERT ALT TEXT HERE
Figura 1. Configuração da rede VPC do Dataproc Metastore

Descrição do exemplo de rede:

  • Com relação aos peerings de VPC, os serviços do Google criam um projeto para o cliente. O projeto é isolado, o que significa que ele não é compartilhado com nenhum outro cliente e o cliente é cobrado apenas pelos recursos provisionados.
  • Ao criar o primeiro serviço do metastore do Dataproc em uma região, o metastore do Dataproc aloca um intervalo /17 e um /20 na rede do cliente para todo o uso futuro dos serviços do metastore do Dataproc nessa região e rede. O metastore do Dataproc subdividia ainda mais esses intervalos para criar sub-redes e intervalos de endereços no projeto de produtor de serviços.
  • Os serviços de VM na rede do cliente podem acessar os recursos do serviço Metastore do Dataproc em qualquer região, se o serviço do Google Cloud for compatível com ele. Alguns serviços do Google Cloud podem não oferecer suporte à comunicação entre regiões.
  • Os custos de saída para tráfego entre regiões, em que uma instância de VM se comunica com recursos de uma região diferente, ainda se aplicam.
  • O Google atribui ao serviço do metastore do Dataproc o endereço IP 10.100.0.100. Na rede VPC do cliente, as solicitações com um destino de 10.100.0.100 são roteadas por meio do peering de VPC para a rede do fornecedor de serviços. Quando elas alcançam a rede do serviço, essa rede encaminha a solicitação para o recurso correto.
  • O tráfego entre redes VPC é transmitido internamente na rede do Google, e não pela Internet pública.

A seguir