Configuração de rede do Dataproc sem servidor para Spark

A sub-rede VPC usada para executar cargas de trabalho do Serverless Spark precisa atender aos seguintes requisitos:

  • Abrir conectividade de sub-rede: a sub-rede precisa permitir a comunicação de sub-rede em todas as portas. O comando gcloud a seguir anexa um firewall de rede a uma sub-rede que permite a comunicação de entrada usando todos os protocolos em todas as portas:

    gcloud compute firewall-rules create allow-internal-ingress \
    --network="network-name" \
    --source-ranges="subnetwork internal-IP ranges" \
    --direction="ingress" \
    --action="allow" \
    --rules="all"
    
    Observação: a rede VPC default em um projeto com a regra de firewall default-allow-internal, que permite a comunicação de entrada em todas as portas (tcp:0-65535, udp:0-65535, e icmp protocol:ports): atende a esse requisito. No entanto, ela também permite a entrada de qualquer instância de VM na rede

  • Acesso privado do Google. A sub-rede precisa ter o Acesso privado do Google ativado.

    • Acesso de rede externo. Os drivers e executores têm endereços IP internos. Configure o Cloud NAT para permitir tráfego de saída usando IPs internos na sua rede VPC.