Configurazione di rete Dataproc serverless per Spark

La subnet VPC utilizzata per eseguire i carichi di lavoro Serverless Spark deve soddisfare i seguenti requisiti:

  • Apri connettività subnet: la subnet deve consentire la comunicazione delle subnet su tutte le porte. Il seguente comando gcloud collega un firewall di rete a una subnet che consente le comunicazioni in entrata utilizzando tutti i protocolli su tutte le porte:

    gcloud compute firewall-rules create allow-internal-ingress \
    --network="network-name" \
    --source-ranges="subnetwork internal-IP ranges" \
    --direction="ingress" \
    --action="allow" \
    --rules="all"
    
    Nota: la rete VPC default in un progetto con regola default-allow-internal, che consente la comunicazione in entrata su tutte le porte (tcp:0-65535, udp:0-65535, e icmp protocols:ports), soddisfa questo requisito. Tuttavia, consente anche il traffico in entrata da qualsiasi istanza VM sulla rete

  • Accesso privato Google. La subnet deve avere l'accesso privato Google abilitato.

    • Accesso di rete esterno. Driver ed esecutori hanno indirizzi IP interni. Puoi configurare Cloud NAT per consentire il traffico in uscita tramite IP interni sulla tua rete VPC.