Configurazione di rete serverless per Spark di Dataproc

La subnet VPC utilizzata per eseguire i carichi di lavoro Dataproc Serverless per Spark deve soddisfare i seguenti requisiti:

• Apri la connettività della subnet: la subnet deve consentire la comunicazione con la subnet su tutte le porte. Il seguente comando gcloud collega un firewall di rete a una subnet che consente le comunicazioni in entrata utilizzando tutti i protocolli su tutte le porte:

  gcloud compute firewall-rules create allow-internal-ingress \
      --network=network-name \
      --source-ranges=SUBNET_RANGES \
      --destination-ranges=SUBNET_RANGES \
      --direction=ingress \
      --action=allow \
      --rules=all
  

  • SUBNET_RANGES: Consulta Consentire connessioni interne in entrata tra le VM. La rete VPC default in un progetto con la regola firewall default-allow-internal, che consente la comunicazione in entrata su tutte le porte (tcp:0-65535, udp:0-65535 e protocolli icmp:ports), soddisfa il requisito di connettività subnet aperta. Tuttavia, consente anche il traffico in entrata da qualsiasi istanza VM sulla rete.
  Utilizza i tag di rete per limitare la connettività. In fase di produzione, si consiglia di limitare le regole firewall agli indirizzi IP utilizzati dai carichi di lavoro Spark.

• Accesso privato Google:nella subnet deve essere abilitato l'accesso privato Google.

  • Accesso alla rete esterna. Se il carico di lavoro richiede l'accesso a una rete esterna o a internet, puoi configurare Cloud NAT per consentire il traffico in uscita utilizzando IP interni sulla rete VPC.

Reti Dataproc Serverless e VPC-SC

Con Controlli di servizio VPC, gli amministratori possono definire un perimetro di sicurezza intorno alle risorse dei servizi gestiti da Google per controllare le comunicazioni con quei servizi.

Tieni presente le seguenti limitazioni e strategie quando utilizzi reti VPC-SC con Dataproc Serverless:

• Configura la connettività privata.

• Per installare le dipendenze al di fuori del perimetro VPC-SC, crea un'immagine container personalizzata che preinstalla le dipendenze, quindi invia un carico di lavoro batch Spark che utilizzi l'immagine del container personalizzata.