Configurazione di rete del cluster Dataproc

Questa pagina illustra i requisiti e le opzioni di configurazione della rete del cluster Dataproc.

Requisiti di connettività di Dataproc

Il cluster Dataproc deve trovarsi in una rete VPC che soddisfi i requisiti di route e firewall per accedere in modo sicuro alle API di Google e ad altre risorse.

Requisiti del percorso

L'agente Dataproc in esecuzione sulle VM del cluster ha bisogno di una route per internet per accedere all'API di controllo Dataproc per ottenere gli stati dei job e dei report. Una volta create, le reti VPC contengono una route predefinita generata dal sistema per internet. Non è consigliabile eliminare la route predefinita a internet. usa invece firewall per controllare l'accesso alla rete. Tieni presente che cluster interni solo a IP Richiedi questa route predefinita a internet per accedere alle API di controllo Dataproc e altri servizi Google, come Cloud Storage, ma il loro traffico non lasciano i data center di Google.

Requisiti del firewall

Le macchine virtuali (VM) del cluster Dataproc devono essere in grado di comunicare tra loro utilizzando i protocolli ICMP, TCP (tutte le porte) e UDP (tutte le porte).

La regola firewall della rete VPC default default-allow-internal soddisfa i requisiti di connettività del cluster Dataproc e consente l'ingresso dall'intervallo di origine 10.128.0.0/9 da tutte le VM sulla rete VPC come segue:

Regola Rete Direzione Priorità Intervallo di origine Protocolli:Porte
default-allow-internal default In entrata 65534 10.128.0.0/9 tcp:0-65535, udp:0-65535 e icmp

  • Se elimini la regola firewall default-allow-internal, il traffico in entrata su la rete default è bloccata regola di negazione in entrata implicita.

  • Se elimini la regola firewall default-allow-internal o non utilizzi la rete VPC default, devi creare una regola personalizzata che soddisfi i requisiti di connettività di Dataproc e poi applicarla alla rete VPC del tuo cluster.

Best practice: crea una regola firewall in entrata per la rete VPC del cluster che consente la connettività in entrata solo tra le VM del cluster utilizzando un intervallo IP di origine o identificando le VM del cluster tag di rete o account di servizio.

Creare una regola firewall in entrata

Se tu o l'amministratore di rete o della sicurezza create una regola del firewall in entrata da applicare alla rete VPC di un cluster Dataproc, questa deve avere le seguenti caratteristiche:

  • Il parametro sources specifica le sorgenti per i pacchetti. Tutte le VM del cluster Dataproc devono essere in grado di comunicare tra loro. Puoi identificare le VM nel cluster in base all'intervallo di indirizzi IP, ai tag di origine o agli account di servizio associati alle VM.

  • Il target della regola deve identificare le VM del cluster. La destinazione può essere tutte le VM nella rete VPC puoi identificare le VM in base all'intervallo di indirizzi IP, al tag o al servizio di destinazione .

  • La regola deve includere i seguenti protocolli e porte:

    • TCP (tutte le porte, da 0 a 65535)
    • UDP (tutte le porte, da 0 a 65535)
    • ICMP

    Dataproc utilizza servizi eseguiti su più porte. Specificare tutte le porte consentono l'esecuzione corretta dei servizi.

Diagnosticare le regole firewall VPC

Per controllare i pacchetti non elaborati da regole firewall con priorità più elevata, può creare due regole firewall di negazione a bassa priorità (65534). A differenza dell'interfaccia implicita, regole firewall, puoi abilitare il logging delle regole firewall su ciascuna di queste regole a bassa priorità:

  1. Una regola di negazione in entrata (origini 0.0.0.0/0, tutti i protocolli, tutte le destinazioni alla rete VPC)

  2. Una regola di rifiuto in uscita (destinazioni 0.0.0.0/0, tutti i protocolli, tutti i target nella rete VPC)

  • Con il logging delle regole a bassa priorità e firewall, puoi registrare di pacchetti non elaborati da una priorità più alta e potenzialmente più specifici, le regole del firewall. Queste due regole con priorità bassa sono in linea anche con le best practice di sicurezza grazie all'implementazione di una strategia di "drop dei pacchetti finali".

  • Esamina i log delle regole firewall per individuare queste regole determinare se è necessario creare o modificare regole di priorità più elevata per e pacchetti. Ad esempio, se i pacchetti vengono inviati tra un cluster Dataproc le VM vengono eliminate, questo può indicare che le regole firewall devono essere modificato.

Crea una rete VPC

Anziché utilizzare la rete VPC default, puoi creare la tua modalità automatica o un VPC personalizzato in ogni rete. Quando crei il cluster, associ la tua rete in un cluster Kubernetes.

Ambiente Assured Workloads: quando utilizzi un oggetto Ambiente Assured Workloads per conformità normativa, il cluster, la rete VPC e i Cloud Storage I bucket devono essere contenuti nell'ambiente Assured Workloads.

Crea un cluster che utilizza la tua rete VPC

Google Cloud CLI

Utilizza gcloud dataproc clusters create con il flag ‑‑network o ‑‑subnet per creare un cluster in una subnet della tua rete. Se usi il flag ‐‐network, il cluster utilizzerà una subnet con lo stesso nome della rete specificata nella regione in cui viene creato il cluster.

--network example. Poiché le reti automatiche vengono create con subnet in ogni regione, a ciascuna subnet viene assegnato il nome della rete, quindi puoi passare il nome della rete VPC in modalità automatica al flag ‑‑network. Il cluster utilizzerà la subnet VPC in modalità automatica nella regione specificata con il flag ‑‑region.

gcloud dataproc clusters create CLUSTER_NAME \
    --network NETWORK_NAME \
    --region=REGION \
    ... other args ...

--subnet example. Puoi utilizzare ‑‑subnet per creare un cluster che utilizza una modalità automatica o una subnet di rete VPC personalizzata nella regione del cluster Kubernetes. Specifica il percorso completo della risorsa della subnet.

gcloud dataproc clusters create CLUSTER_NAMEW \
    --subnet projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_NAME \
    --region=REGION \
    ... other args ...

API REST

Puoi specificare il campo networkUri o subnetworkUri GceClusterConfig all'interno di una richiesta clusters.create.

Esempio

POST /v1/projects/my-project-id/regions/us-central1/clusters/
{
  "projectId": "PROJECT_ID",
  "clusterName": CLUSTER_NAME,
  "config": {
    "configBucket": "",
    "gceClusterConfig": {
      "subnetworkUri": SUBNET_NAME,
    },
    ...

Console

Seleziona la tua rete nella sezione Rete configurazione nel riquadro Personalizza cluster. Dopo aver scelto la rete, il selettore Subnet mostra le subnet disponibili nella regione selezionata per il cluster.

Crea un cluster che utilizza una rete VPC in un altro progetto

Un cluster Dataproc può utilizzare una rete VPC condivisa definita in un progetto host. Il progetto in cui viene creato il cluster Dataproc è chiamato progetto di servizio.

  1. Trova il numero di progetto del cluster Dataproc:

    1. Apri la pagina IAM e amministrazione Impostazioni nella console Google Cloud. Seleziona il progetto in cui creerai di un cluster Dataproc. Copia l'ID progetto.

  2. Un'entità con Ruolo Amministratore VPC condiviso è necessario seguire questi passaggi. Per informazioni di contesto, consulta le istruzioni per la configurazione del VPC condiviso.

    1. Assicurati che il progetto host VPC condiviso sia abilitato.

    2. Collega il progetto con il cluster Dataproc al progetto host.

    3. Segui le istruzioni in questo passaggio secondario per configurare entrambi i seguenti in modo che l'utente di rete per il progetto host:

      1. Apri la sezione IAM e Amministratore nella console Google Cloud.

      2. Utilizza il selettore di progetti per selezionare il nuovo progetto host.

      3. Fai clic su Concedi l'accesso.

      4. Compila il modulo Concedi accesso. Ripeti questi passaggi per aggiungere entrambi gli account di servizio:

        1. Aggiungi entità: inserisci l'account di servizio.

        2. Assegna ruoli: inserisci "Rete Compute" nella casella del filtro, quindi seleziona il ruolo Utente rete Compute.

        3. Fai clic su Salva.

  3. Dopo che entrambi gli account di servizio hanno il ruolo Network User per il progetto host, crea un cluster che utilizza la rete VPC condivisa.

Creare un cluster che utilizza una sottorete VPC in un altro progetto

Un cluster Dataproc può utilizzare una subnet VPC condivisa definita in un progetto host. Il progetto in cui viene creato il cluster Dataproc è chiamato progetto di servizio.

  1. Trova il numero del progetto del cluster Dataproc:

    1. Apri la sezione IAM e Amministratore nella pagina Impostazioni nella console Google Cloud. Seleziona il progetto in cui creerai il cluster Dataproc. Copia l'ID progetto.

  2. Un'entità con Ruolo Amministratore VPC condiviso è necessario seguire questi passaggi. Per informazioni di contesto, consulta le istruzioni per la configurazione del VPC condiviso.

    1. Assicurati che il progetto host VPC condiviso sia abilitato.

    2. Collega il progetto al cluster Dataproc al progetto host.

    3. Segui le istruzioni riportate in questo passaggio per configurare entrambi i seguenti account di servizio in modo che dispongano del ruolo Utente di rete per il progetto host:

      1. Apri la pagina Reti VPC nella console Google Cloud.

      2. Utilizza il selettore di progetti per selezionare il progetto host.

      3. Fai clic sulla rete che contiene la subnet che verrà utilizzata dal tuo cluster Dataproc.

      4. Nella pagina Dettagli rete VPC, fai clic sulla casella di controllo accanto al nome della sottorete che verrà utilizzata dal cluster.

      5. Se il riquadro informazioni non è aperto, fai clic su Mostra riquadro informazioni.

      6. Esegui i seguenti passaggi per ogni account di servizio:

        1. Nel riquadro delle informazioni, fai clic su Aggiungi entità.

        2. Compila il modulo Concedi accesso:

          1. Aggiungi entità: inserisci l'account di servizio.

          2. Assegna ruoli: inserisci "Rete Compute" Nella casella di filtro, seleziona il ruolo Utente di rete Compute.

          3. Fai clic su Salva.

  3. Quando entrambi gli account di servizio hanno il ruolo Network User per il progetto host, crea un cluster che utilizza la subnet VPC condivisa.

Crea un cluster Dataproc solo con indirizzi IP interni

Puoi creare un cluster Dataproc isolato dalla internet pubblico le cui istanze VM comunicano su una subnet IP privata (alle VM cluster non vengono assegnati indirizzi IP pubblici). Per fare ciò, la subnet deve avere Accesso privato Google abilitato per consentire ai nodi dei cluster di accedere alle API e ai servizi Google, come Cloud Storage, da IP interni.

Interfaccia a riga di comando gcloud

Puoi creare un cluster Dataproc solo con indirizzi IP interni utilizzando gcloud dataproc clusters create con il flag ‑‑no-address.

Utilizza i flag ‐‐no-address e ‐‐network: Usa il flag ‑‑no-address con ‑‑network per creare un cluster che utilizzerà una subnet con lo stesso nome della rete nella regione in cui viene creato il cluster.

gcloud dataproc clusters create CLUSTER_NAME \
    --no-address \
    --network NETWORK_NAME \
    --region=REGION \
    ... other args ...

Ad esempio, poiché le reti automatiche vengono create con subnet in ogni regione con lo stesso nome della rete automatica, puoi passare la rete nome al ‑‑network flag per creare un cluster che utilizzerà la subnet automatica nella regione del cluster.

Utilizza i flag ‐‐no-address e ‐‐subnet: Usa il flag ‑‑no-address con ‑‑subnet per creare un'istanza che utilizzerà una subnet automatica o personalizzata nella regione in cui verrà creato il cluster. Supera la bandiera ‑‑subnet l'intero percorso di risorsa della subnet.

gcloud dataproc clusters create cluster-name \
    --no-address \
    --subnet projects/project-id/regions/region/subnetworks/subnetwork-name \
    --region=region \
    ... other args ...

API REST

Puoi impostare il campo GceClusterConfig internalIpOnly su true all'interno di una richiesta clusters.create per attivare solo gli indirizzi IP interni.

Esempio:

POST /v1/projects/my-project-id/regions/us-central1/clusters/
{
  "projectId": "my-project-id",
  "clusterName": "example-cluster",
  "config": {
    "configBucket": "",
    "gceClusterConfig": {
      "subnetworkUri": "custom-subnet-1",
      "zoneUri": "us-central1-b",
      "internalIpOnly": true
    },
    ...

Console

Puoi creare un cluster Dataproc con accesso privato Google abilitato da Dataproc Crea un cluster nella console Google Cloud. Fai clic su Solo IP interno su il pulsante Personalizza cluster per abilitare questa funzionalità per il tuo cluster.

L'opzione

Poiché, per impostazione predefinita, i cluster solo IP interni non hanno accesso a internet, job che scaricano dipendenze da internet, ad esempio job che scaricano I pacchetti di dipendenze Spark di Maven Central avranno esito negativo. Esistono diversi soluzioni alternative per evitare il problema:

  1. Utilizza Cloud NAT per abilitare l'accesso del cluster a internet.

  2. Crea un'immagine personalizzata che includa le dipendenze (ad esempio, i pacchetti di dipendenze Spark in /usr/lib/spark/jars/).

  3. Carica le dipendenze in un bucket Cloud Storage, quindi utilizza azione di inizializzazione per scaricare le dipendenze dal bucket durante la creazione del cluster.

Reti Dataproc e Controlli di servizio VPC

Con Controlli di servizio VPC, gli amministratori possono definire un perimetro di sicurezza intorno alle risorse dei servizi gestiti da Google per controllare le comunicazioni con quei servizi.

Tieni presente le seguenti limitazioni e strategie quando utilizzi le reti VPC Service Controls con i cluster Dataproc: