Configurazione di rete Dataproc serverless per Spark

La subnet VPC utilizzata per eseguire i carichi di lavoro Serverless Spark deve soddisfare i seguenti requisiti:

• Apri connettività subnet: la subnet deve consentire la comunicazione delle subnet su tutte le porte. Il seguente comando gcloud collega un firewall di rete a una subnet che consente le comunicazioni in entrata utilizzando tutti i protocolli su tutte le porte:

  gcloud compute firewall-rules create allow-internal-ingress \
  --network="network-name" \
  --source-ranges="subnetwork internal-IP ranges" \
  --direction="ingress" \
  --action="allow" \
  --rules="all"
  

  Nota: la rete VPC default in un progetto con regola default-allow-internal, che consente la comunicazione in entrata su tutte le porte (tcp:0-65535, udp:0-65535, e icmp protocols:ports), soddisfa questo requisito. Tuttavia, consente anche il traffico in entrata da qualsiasi istanza VM sulla rete
  Utilizza i tag di rete per limitare la connettività. In produzione, la prassi consigliata è limitare le regole del firewall agli indirizzi IP utilizzati dai tuoi carichi di lavoro Spark.

• Accesso privato Google. La subnet deve avere l'accesso privato Google abilitato.

  • Accesso di rete esterno. Driver ed esecutori hanno indirizzi IP interni. Puoi configurare Cloud NAT per consentire il traffico in uscita tramite IP interni sulla tua rete VPC.