Configuração de rede do Dataproc sem servidor para Spark

A sub-rede de VPC usada para executar cargas de trabalho do Dataproc sem servidor para Spark precisa atender aos seguintes requisitos:

  • Abrir conectividade de sub-rede: a sub-rede precisa permitir a comunicação em todas as portas. O comando gcloud a seguir anexa um firewall de rede a uma sub-rede que permite comunicações de entrada usando todos os protocolos em todas as portas: 

    gcloud compute firewall-rules create allow-internal-ingress \
    --network=network-name \
    --source-ranges=SUBNET_RANGES \
    --direction=ingress \
    --action=allow \
    --rules=all

    • SUBNET_RANGES: Consulte Permitir conexões de entrada internas entre VMs. A rede VPC default em um projeto com a regra de firewall default-allow-internal, que permite a comunicação de entrada em todas as portas (tcp:0-65535, udp:0-65535 e icmp protocols:ports), atende ao requisito de conectividade da sub-rede aberta. No entanto, ela também permite a entrada por qualquer instância de VM na rede.

  • Acesso privado do Google: a sub-rede precisa ter o Acesso privado do Google ativado.

    • Acesso à rede externa Se a carga de trabalho exigir acesso à rede ou à Internet externa, configure o Cloud NAT para permitir o tráfego de saída usando IPs internos na rede VPC.

Dataproc sem servidor e redes VPC-SC

Com o VPC Service Controls, os administradores podem definir um perímetro de segurança em torno dos recursos dos serviços gerenciados pelo Google para controlar a comunicação entre esses serviços.

Observe as seguintes limitações e estratégias ao usar redes VPC-SC com o Dataproc sem servidor: