Configuração de rede do cluster do Dataproc

Nesta página, explicamos os requisitos de configuração de rede do cluster do Dataproc e opções.

Requisitos de conectividade do Dataproc

Seu cluster do Dataproc precisa estar em uma rede VPC que atenda aos requisitos de roteamento e firewall para acessar com segurança as APIs do Google e outros recursos.

Requisitos de rota

O agente do Dataproc em execução nas VMs do cluster precisa de uma rota para a Internet para acessar a API Dataproc Control. para receber jobs e informar o status. Quando criadas, as redes VPC contêm uma rota padrão gerada pelo sistema para a Internet. Não é recomendável excluir a rota padrão para a Internet. Em vez disso, use firewalls para controlar o acesso à rede. Os clusters somente IP interno também exigem essa rota padrão para a Internet para acessar as APIs de controle do Dataproc e outros serviços do Google, como o Cloud Storage, mas o tráfego não sai dos data centers do Google.

Requisitos de firewall

As máquinas virtuais (VMs) do cluster do Dataproc precisam ser capazes de se comunicar usando os protocolos ICMP, TCP (todas as portas) e UDP (todas as portas).

A rede VPC default Firewall do default-allow-internal atende aos requisitos de conectividade do cluster do Dataproc e permite a entrada do intervalo de origem 10.128.0.0/9 todas as VMs na rede VPC, da seguinte maneira:

Regra	Rede	Direção	Prioridade	Intervalo de origem	Protocolos:Portas
default-allow-internal	default	entrada	65534	10.128.0.0/9	tcp:0-65535,udp:0-65535,icmp

• Se você excluir a regra de firewall default-allow-internal, o tráfego de entrada a rede default foi bloqueada pelo regra implícita "negar entrada".

• Se você excluir a regra de firewall default-allow-internal ou Se você não usar a rede VPC default, precisará criar uma regra própria que atende aos requisitos de conectividade do Dataproc e, em seguida, na rede VPC do cluster.

Prática recomendada: crie uma regra de firewall de entrada para a rede VPC do cluster que permita a conectividade de entrada apenas entre as VMs do cluster usando um intervalo de IP de origem ou identificando as VMs do cluster por tag de rede ou conta de serviço.

Observação: o uso de tags ou contas de serviço para identificar VMs de cluster elimina a necessidade de identificar VMs de cluster pelo intervalo de endereço IP de origem.

Crie uma regra de firewall de entrada

Se você ou seu administrador de rede ou segurança criar Uma regra de firewall de entrada para aplicar a uma rede VPC de cluster do Dataproc, ele precisa ter o as seguintes características:

• O parâmetro sources especifica: as origens dos pacotes. Todas as VMs do cluster do Dataproc precisam se comunicar entre si. É possível identificar as VMs cluster por intervalo de endereços IP, tags de origem ou contas de serviço associadas entre as VMs.

  • Não omita uma especificação de parâmetro de origem. Se você omitir a especificação de intervalos de IP de origem, tags de origem ou contas de serviço de origem, a regra de firewall usará o intervalo de endereços IP 0.0.0.0/0 (qualquer endereço IP) conforme a origem. Se as VMs do Dataproc tiverem endereços IP externos, isso significa que elas podem aceitar tráfego de qualquer lugar na Internet. Portanto, defina a origem como a mais restrita possível. para atender às suas necessidades e proteger o cluster.

• O destino da regra precisa identificar as VMs do cluster. O destino pode ser todas as VMs na rede VPC ou é possível identificar VMs por intervalo de endereço IP, tag de destino ou conta de serviço de destino.

• A regra precisa incluir os seguintes protocolos e portas:

  • TCP (todas as portas, 0 a 65535)
  • UDP (todas as portas, de 0 a 65535)
  • ICMP

  O Dataproc usa serviços executados em várias portas. Especificar todas as portas ajuda a executar os serviços.

Diagnosticar regras de firewall da VPC

Para auditar pacotes não processados por regras de firewall de prioridade mais alta, é possível criar duas regras de firewall de negação de baixa prioridade (65534). Ao contrário das regras de firewall implícitas, é possível ativar a geração de registros de regras de firewall em cada uma destas regras de baixa prioridade:

1. Uma regra de negação de entrada (fontes 0.0.0.0/0, todos os protocolos, todos os destinos na rede VPC)

2. Uma regra de negação de saída (destinos 0.0.0.0/0, todos os protocolos, todos os destinos na rede VPC)

• Com essas regras de baixa prioridade e a geração de registros de regras de firewall, é possível não processados por itens de prioridade mais alta e possivelmente mais específicos, regras de firewall. Essas duas regras de baixa prioridade também se alinham às práticas recomendadas de segurança ao implementar uma estratégia de "pacotes finais eliminados".

• Examine os registros de regras de firewall para encontrar essas regras determine se precisa criar ou alterar regras de prioridade mais alta para permitir pacotes. Por exemplo, se pacotes enviados entre clusters do Dataproc Como as VMs são descartadas, isso pode ser um sinal de que as regras de firewall ajustado.

Crie uma rede VPC

Em vez de usar a rede VPC default, é possível criar a própria modo automático ou VPC personalizada em uma rede VPC. Ao criar o cluster, você associa a rede à cluster.

Ambiente do Assured Workloads: quando você usa um ambiente do Assured Workloads para compliance regulatória, o cluster, a rede VPC e os buckets do Cloud Storage precisam estar contidos no ambiente do Assured Workloads.

Como criar um cluster que use a rede VPC

Console

Selecione sua rede na seção de configuração no painel Personalizar cluster. Depois de escolher a rede, o seletor de sub-rede vai mostrar as sub-redes disponíveis na região selecionada para o cluster.

Google Cloud CLI

Usar gcloud dataproc clusters create com ‑‑network ou ‑‑subnet para criar um cluster em uma sub-rede na rede. Se você usar a flag ‑‑network, o cluster vai usar uma sub-rede com o mesmo nome da rede especificada na região em que o cluster é criado.

--network example. Como as redes automáticas são criadas com sub-redes em cada região, com cada sub-rede recebendo o nome da rede, é possível transmitir o nome da rede VPC de modo automático para a flag ‑‑network. O cluster vai usar a sub-rede VPC de modo automático na região especificada com a sinalização ‐‐region.

gcloud dataproc clusters create CLUSTER_NAME \
    --network NETWORK_NAME \
    --region=REGION \
    ... other args ...

--subnet example. É possível usar a flag ‑‑subnet para criar um cluster que usa um modo automático ou uma sub-rede de rede VPC personalizada na região do cluster. Especifique o caminho completo do recurso da sub-rede.

gcloud dataproc clusters create CLUSTER_NAMEW \
    --subnet projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_NAME \
    --region=REGION \
    ... other args ...

Deixe o console do Google Cloud construir sua solicitação de criação de cluster.: Clique nos links Linha de comando equivalente → REST equivalente na página Criar um cluster no console do Google Cloud para que o console do Google Cloud construa uma solicitação REST da API ou CLI do gcloud equivalente.

API REST

É possível especificar o campo GceClusterConfig networkUri ou subnetworkUri como parte de uma solicitação clusters.create.

Exemplo

POST /v1/projects/my-project-id/regions/us-central1/clusters/
{
  "projectId": "PROJECT_ID",
  "clusterName": CLUSTER_NAME,
  "config": {
    "configBucket": "",
    "gceClusterConfig": {
      "subnetworkUri": SUBNET_NAME,
    },
    ...

Deixe o console do Google Cloud construir seu solicitação de criação de cluster.: Clique nos links Linha de comando equivalente → REST equivalente na página Criar um cluster no console do Google Cloud para que o console do Google Cloud construa uma solicitação REST da API ou CLI do gcloud equivalente.

Como criar um cluster que use uma rede VPC em outro projeto

Um cluster do Dataproc pode usar uma rede VPC compartilhada definida em um projeto host. O projeto em que o cluster do Dataproc é criado conhecido como projeto de serviço.

1. Encontre o número do projeto do cluster do Dataproc:

   1. Abra a página Configurações do IAM e administrador no console do Google Cloud. Selecione o projeto em que você vai criar o cluster do Dataproc. Copie o ID do projeto.

2. Um principal com o papel de administrador de VPC compartilhada precisa executar as etapas a seguir. Consulte as instruções para configurar a VPC compartilhada para ver informações básicas.

   1. Verifique se o projeto host da VPC compartilhada está ativado.

   2. Anexe o projeto com o cluster do Dataproc ao projeto host.

   3. Configure o Conta de serviço do agente de serviço do Dataproc (service-[project-number]@dataproc-accounts.iam.gserviceaccount.com) ter a permissão Usuário de rede para o projeto host:

      1. Abra a página IAM e Administrador no console do Google Cloud.

      2. Use o seletor de projeto para selecionar o novo projeto host.

      3. Clique em Permitir acesso.

      4. Preencha o formulário de acesso concedido:

         1. Adicionar principais: insira a conta de serviço.

         2. Atribuir papéis: insira "Rede do Compute". Na caixa de filtro, selecione o papel Usuário da rede do Compute.

         3. Clique em Salvar.

      Observação: em clusters criados com versões de imagem do Dataproc anteriores à 2.0.58, 2.1.4 ou 2.2.1 (lançada em 2023), também será necessário atribuir o de usuário de rede do Compute Conta de serviço do agente de serviço de APIs do Google ([e-mail]).

3. Depois que a conta de serviço tiver o papel Network User no projeto host, crie um cluster que use a rede VPC compartilhada.

Criar um cluster que use uma sub-rede VPC em outro projeto

Observação: a seção anterior explicou como o cluster do Dataproc pode usar a rede VPC de outro projeto. Para definir permissões em um nível mais granular, esta seção mostra como o cluster do Dataproc pode usar a sub-rede da VPC de outro projeto.

Um cluster do Dataproc pode usar uma sub-rede VPC compartilhada definida em um projeto host. O projeto em que o cluster do Dataproc é criado conhecido como projeto de serviço.

1. Encontre o número do projeto do cluster do Dataproc:

   1. Abra a página IAM e Administrador Configurações na console do Google Cloud. Selecione o projeto em que você vai criar o cluster do Dataproc. Copie o ID do projeto.

2. Um principal com o papel de administrador de VPC compartilhada precisa executar as etapas a seguir. Consulte as instruções para configurar a VPC compartilhada para ver informações básicas.

   1. Verifique se o projeto host da VPC compartilhada está ativado.

   2. Anexe o projeto com o cluster do Dataproc ao projeto host.

   3. Configure o Conta de serviço do agente de serviço do Dataproc (service-[project-number]@dataproc-accounts.iam.gserviceaccount.com) ter a permissão Usuário de rede para o projeto host:

      1. Abra a página Redes VPC no console do Google Cloud.

      2. Use o seletor de projetos para escolher o projeto host.

      3. Clique na rede que contém a sub-rede que cluster do Dataproc vai usar.

      4. Na página Detalhes da rede VPC, clique na caixa de seleção ao lado do o nome da sub-rede que o cluster vai usar.

      5. Se o painel de informações não estiver aberto, clique em Mostrar painel de informações.

      6. Siga estas etapas para cada conta de serviço:

         1. No painel de informações, clique em Adicionar participante.

         2. Preencha o formulário de acesso concedido:

            1. Adicionar principais: informe a conta de serviço.

            2. Atribuir funções: insira "Compute Network" na caixa de filtro e selecione a função Usuário da rede do Compute.

               Recomendação: conceda também o papel de Visualizador da rede do Compute a cada conta de serviço. Esta função inclui a permissão compute.subnetworks.list, que permite Dataproc para validar a existência da conta de serviço necessária permissões e fornecer mensagens significativas, se necessário, as permissões estão faltando.

            3. Clique em Salvar.

      Observação: em clusters criados com versões de imagem do Dataproc anteriores à 2.0.58, 2.1.4 ou 2.2.1 (lançada em 2023), também é necessário atribuir o papel de usuário da rede de computação à conta de serviço do agente de serviço das APIs do Google ([e-mail]).

3. Depois que a conta de serviço tiver o papel Network User no projeto host, crie um cluster que use a sub-rede da VPC compartilhada.

Criar um cluster do Dataproc somente com endereços IP internos

É possível criar um cluster do Dataproc isolado da Internet pública em que as instâncias de VM se comunicam por uma sub-rede IP particular. (VMs de cluster não recebem endereços IP públicos). Para fazer isso, o sub-rede deve ter Acesso privado do Google ativado para permitir que os nós do cluster acessem as APIs e os serviços do Google, como Cloud Storage, de IPs internos.

Console

É possível criar um cluster do Dataproc com o acesso particular do Google ativado na página Criar um cluster do Dataproc no console do Google Cloud. Clique em Apenas IP interno no painel Personalizar cluster para ativar esse recurso.

A opção

Somente IP interno é ativada por padrão ao criar um cluster do Dataproc com a versão 2.2 da imagem.

CLI da gcloud

Só é possível criar um cluster do Dataproc com endereços IP internos usando o gcloud dataproc clusters create com a sinalização ‑‑no-address.

Use as sinalizações ‐‐no-address e ‐‐network: Use a flag ‑‑no-address com o sinalização ‑‑network para criar um cluster que usará uma sub-rede com o mesmo nome da rede na região em que o cluster é criado.

Apenas endereços internos (no-address) é definido por padrão ao criar um cluster do Dataproc versão da imagem 2.2. Você pode usar o gcloud dataproc clusters create --public-ip-address para ativar endereços IP públicos.

gcloud dataproc clusters create CLUSTER_NAME \
    --no-address \
    --network NETWORK_NAME \
    --region=REGION \
    ... other args ...

Por exemplo, como as redes automáticas são criadas com sub-redes em cada região com o mesmo nome da rede automática, é possível passar o nome da rede automática para ‑‑network flag para criar um cluster que usará a sub-rede automática na região do cluster.

Use as flags ‑‑no-address e ‑‑subnet: use a flag ‑‑no-address com as flags ‑‑subnet para criar um cluster que usará uma sub-rede automática ou personalizada na região em que o cluster será criado. Transmita a sinalização ‑‑subnet o caminho completo do recurso da sub-rede.

gcloud dataproc clusters create cluster-name \
    --no-address \
    --subnet projects/project-id/regions/region/subnetworks/subnetwork-name \
    --region=region \
    ... other args ...

Deixe o console do Google Cloud construir sua solicitação de criação de cluster.: Clique nos links Linha de comando equivalente → REST equivalente na página Criar um cluster no console do Google Cloud para que o console do Google Cloud construa uma solicitação REST da API ou CLI do gcloud equivalente.

API REST

É possível definir o GceClusterConfig internalIpOnly como true como parte de uma clusters.create para ativar apenas endereços IP internos.

internalIpOnly é definido como true por padrão ao criar um cluster do Dataproc versão de imagem 2.2. É possível definir o valor desse campo como false para ativar endereços IP públicos.

Exemplo:

POST /v1/projects/my-project-id/regions/us-central1/clusters/
{
  "projectId": "my-project-id",
  "clusterName": "example-cluster",
  "config": {
    "configBucket": "",
    "gceClusterConfig": {
      "subnetworkUri": "custom-subnet-1",
      "zoneUri": "us-central1-b",
      "internalIpOnly": true
    },
    ...

Deixe o console do Google Cloud construir seu de criação do cluster.: Você pode clicar nos links API REST equivalente ou linha de comando em na parte de baixo do painel esquerdo do Dataproc A página Criar um cluster na para que o console do Google Cloud crie um sistema equivalente solicitação da API REST ou o comando gcloud.

Como, por padrão, os clusters somente de IP interno não têm acesso à Internet, jobs que fazem o download de dependências da Internet, como aqueles que fazem o download Os pacotes de dependência do Spark do Maven Central falharão. Há várias soluções para evitar o problema:

1. usar o Cloud NAT; para ativar o acesso do cluster à Internet.

2. Crie uma imagem personalizada que inclua as dependências (por exemplo, pacotes de dependência do Spark em /usr/lib/spark/jars/).

3. Faça upload das dependências para um bucket do Cloud Storage e use uma ação de inicialização para fazer o download das dependências do bucket durante a criação do cluster.

Redes Dataproc e VPC Service Controls

Com o VPC Service Controls, os administradores podem definir um perímetro de segurança em torno dos recursos dos serviços gerenciados pelo Google para controlar a comunicação entre esses serviços.

Observe as seguintes limitações e estratégias ao usar redes VPC Service Controls com Clusters do Dataproc:

• Para instalar componentes fora do perímetro do VPC Service Controls, crie uma imagem personalizada do Dataproc que pré-instale os componentes e crie o cluster usando a imagem personalizada.

• Consulte Etapas especiais do Dataproc para proteção usando o VPC Service Controls.