Configurazione di rete di Dataproc Serverless per Spark

Questo documento descrive i requisiti necessari per la configurazione della rete di Dataproc Serverless per Spark.

Requisiti della sottorete Virtual Private Cloud

La subnet Virtual Private Cloud utilizzata per eseguire Dataproc Serverless per i carichi di lavoro Spark o le sessioni interattive deve soddisfare i requisiti descritti nelle seguenti sottosezioni.

Requisito di accesso privato Google

La subnet VPC per la regione selezionata per il caricamento di lavoro batch o la sessione interattiva Dataproc Serverless deve avere attivato accesso privato Google.

Accesso alla rete esterna:se il tuo carico di lavoro richiede l'accesso alla rete esterna o a internet, puoi configurare Cloud NAT per consentire il traffico in uscita utilizzando gli IP interni sulla rete VPC.

Nota: l'accesso a internet pubblico è necessario se i carichi di lavoro batch o le sessioni interattive di Dataproc Serverless per Spark scaricano risorse, ad esempio modelli di ML da PyTorch Hub o Hugging Face.

Requisito di connettività della subnet aperta

La subnet VPC per la regione selezionata per il carico di lavoro batch Dataproc Serverless o la sessione interattiva deve consentire la comunicazione della subnet interna su tutte le porte tra le istanze VM.

Il seguente comando Google Cloud CLI collega una firewall di rete a una sottorete che consente le comunicazioni in entrata interne tra le VM che utilizzano tutti i protocolli su tutte le porte:

gcloud compute firewall-rules create allow-internal-ingress \
    --network=NETWORK_NAME \
    --source-ranges=SUBNET_RANGES \
    --destination-ranges=SUBNET_RANGES \
    --direction=ingress \
    --action=allow \
    --rules=all

Note:

• SUBNET_RANGES: Consulta Consenti le connessioni in entrata interne tra le VM. La rete VPC default in un progetto con la default-allow-internal regola firewall, che consente la comunicazione in entrata su tutte le porte (tcp:0-65535, udp:0-65535 e icmp protocols:ports), soddisfa il requisito di connettività della subnet aperta. Tuttavia, questa regola consente anche l'ingresso di qualsiasi istanza VM sulla rete.

  Utilizza i tag di rete per limitare la connettività. In produzione, la prassi consigliata è limitare le regole firewall agli indirizzi IP utilizzati dai carichi di lavoro Spark.

Reti Dataproc Serverless e VPC-SC

Con Controlli di servizio VPC, gli amministratori di rete possono definire un perimetro di sicurezza intorno alle risorse dei servizi gestiti da Google per controllare le comunicazioni con quei servizi.

Tieni presente le seguenti strategie quando utilizzi le reti VPC-SC con Dataproc Serverless:

• Configura la connettività privata.

• Crea un'immagine container personalizzata che preinstalla le dipendenze all'esterno del perimetro del VPC-SC, quindi invia un carico di lavoro batch Spark che utilizza l'immagine container personalizzata.

Per saperne di più, consulta Controlli di servizio VPC: Dataproc Serverless per Spark.