Configuração de rede do Dataproc Serverless para Spark

Este documento descreve os requisitos necessários para a configuração de rede do Dataproc sem servidor para o Spark.

Requisitos da sub-rede da nuvem privada virtual

A sub-rede de nuvem privada virtual usada para executar cargas de trabalho do Dataproc sem servidor para Spark ou sessões interativas precisa atender aos requisitos definidos nas subseções a seguir.

Requisito do Acesso privado do Google

A sub-rede da VPC da região selecionada para a carga de trabalho em lote ou sessão interativa do Dataproc sem servidor precisa ter o Acesso particular do Google ativado.

Acesso à rede externa:se a carga de trabalho exigir acesso à rede externa ou à Internet, configure o Cloud NAT para permitir o tráfego de saída usando IPs internos na rede VPC.

Observação: o acesso à Internet pública é necessário se as cargas de trabalho em lote do Dataproc Serverless para Spark ou as sessões interativas fizerem o download de recursos, como modelos de ML do PyTorch Hub ou do Hugging Face.

Requisito de conectividade de sub-rede aberta

A sub-rede da VPC para a região selecionada para a carga de trabalho em lote sem servidor do Dataproc ou a sessão interativa precisa permitir a comunicação interna da sub-rede em todas as portas entre instâncias de VM.

O comando da Google Cloud CLI a seguir anexa um firewall de rede a uma subrede que permite comunicações de entrada internas entre VMs usando todos os protocolos em todas as portas:

gcloud compute firewall-rules create allow-internal-ingress \
    --network=NETWORK_NAME \
    --source-ranges=SUBNET_RANGES \
    --destination-ranges=SUBNET_RANGES \
    --direction=ingress \
    --action=allow \
    --rules=all

Observações:

• SUBNET_RANGES: Consulte Permitir conexões de entrada internas entre VMs. A rede VPC default em um projeto com a regra de firewall default-allow-internal, que permite a comunicação de entrada em todas as portas (tcp:0-65535, udp:0-65535 e icmp protocols:ports), atende ao requisito de conectividade de sub-rede aberta. No entanto, essa regra também permite a entrada de qualquer instância de VM na rede.

  Use tags de rede para limitar a conectividade. Na produção, a prática recomendada é limitar as regras de firewall aos endereços IP usados pelas cargas de trabalho do Spark.

Dataproc sem servidor e redes VPC-SC

Com o VPC Service Controls, os administradores de rede podem definir um perímetro de segurança em torno dos recursos dos serviços gerenciados pelo Google para controlar a comunicação entre esses serviços.

Observe as seguintes estratégias ao usar redes VPC-SC com o Dataproc Serverless:

• Configure a conectividade particular.

• Crie uma imagem de contêiner personalizada que pré-instale as dependências fora do perímetro da VPC-SC e envie uma carga de trabalho em lote do Spark que use a imagem de contêiner personalizada.

Para mais informações, consulte VPC Service Controls: Dataproc sem servidor para Spark.