Configuração de rede do Dataproc Serverless para Spark

Este documento descreve os requisitos necessários para a configuração de rede do Dataproc sem servidor para o Spark.

Requisitos da sub-rede da nuvem privada virtual

A sub-rede da VPC usada para executar cargas de trabalho do Dataproc Serverless para Spark precisa atender aos seguintes requisitos:

  • Conectividade de sub-rede aberta:a sub-rede precisa permitir a comunicação em todas as portas. O comando da Google Cloud CLI a seguir anexa um firewall de rede a uma subrede que permite comunicações de entrada usando todos os protocolos em todas as portas: 

    gcloud compute firewall-rules create allow-internal-ingress \
    --network=network-name \
    --source-ranges=SUBNET_RANGES \
    --destination-ranges=SUBNET_RANGES \
    --direction=ingress \
    --action=allow \
    --rules=all

    • SUBNET_RANGES: Consulte Permitir conexões de entrada internas entre VMs. A rede VPC default em um projeto com a regra de firewall default-allow-internal, que permite a comunicação de entrada em todas as portas (tcp:0-65535, udp:0-65535 e protocolos icmp:portas), atende ao requisito de conectividade de sub-rede aberta. No entanto, ele também permite a entrada de qualquer instância de VM na rede.

  • Acesso privado do Google:a sub-rede precisa ter o Acesso privado do Google ativado.

    • Acesso à rede externa. Se a carga de trabalho exigir acesso à rede externa ou à Internet, configure o Cloud NAT para permitir o tráfego de saída usando IPs internos na rede VPC.

Dataproc sem servidor e redes VPC-SC

Com o VPC Service Controls, os administradores podem definir um perímetro de segurança em torno dos recursos dos serviços gerenciados pelo Google para controlar a comunicação entre esses serviços.

Observe as seguintes limitações e estratégias ao usar redes VPC-SC com o Dataproc Serverless: