Private Service Connect con Dataproc Metastore

Con Private Service Connect, puoi creare un Servizio Dataproc Metastore che non utilizza VPC e il peering. In questa pagina viene spiegato cos'è Private Service Connect. e come utilizzarla come opzione di networking alternativa Dataproc Metastore.

Come funziona Dataproc Metastore con VPC

Dataproc Metastore protegge l'accesso ai metadati esponendo solo Endpoint IP. Limita anche la connettività alle VM nella tua rete VPC utilizzando il peering VPC.

Dataproc Metastore richiede le seguenti configurazioni per regione per ogni rete VPC:

Di conseguenza, configurando il peering VPC e le prenotazioni di indirizzi IP. può essere difficile sulle reti VPC affollate. Analogamente, la rete potrebbe non avere una quota di peering sufficiente per richieste. Entrambe queste limitazioni possono impedirti di creare nuovi Servizio Dataproc Metastore.

Per aggirare questi problemi, puoi utilizzare Dataproc Metastore con Private Service Connect.

Funzionamento di Dataproc Metastore con Private Service Connect

Private Service Connect fornisce una connessione privata Metadati Dataproc Metastore nelle reti VPC.

Per utilizzare Private Service Connect con Dataproc Metastore, sono necessarie le seguenti configurazioni:

  • Una prenotazione con un singolo indirizzo nella subnet.
  • Una regola di forwarding che ha come target il collegamento al servizio che espone Dataproc Metastore endpoint. La prenotazione degli indirizzi e la regola di forwarding sono create come parte la chiamata di creazione del servizio Dataproc Metastore.

Considerazioni

  • Servizi Dataproc Metastore che utilizzano Private Service Connect Supportano solo l'accesso dalle reti VPC delle subnet specificate durante il servizio per la creazione di contenuti.

  • Dataproc Metastore prenota gli indirizzi e crea l'inoltro in ognuna delle subnet specificate. Ogni subnet ha un modello Thrift URI dell'endpoint utilizzabile per accedere a Dataproc Metastore dell'endpoint di metadati.

Limitazioni

  • Servizi Dataproc Metastore che utilizzano il protocollo degli endpoint gRPC non supportano Private Service Connect.
  • La connettività inversa non è supportata con Private Service Connect. Questo significa che non puoi utilizzare una configurazione Kerberos con Private Service Connect.
  • Non puoi aggiungere o rimuovere in modo dinamico le subnet da Dataproc Metastore configurato con Private Service Connect. Invece, devi ricreare un servizio se vuoi aggiungere o rimuovere subnet.
  • Non puoi aggiornare un servizio Dataproc Metastore che utilizza Private Service Connect per utilizzare il VPC o viceversa.

Crea un servizio Dataproc Metastore con Private Service Connect

Le seguenti istruzioni mostrano come configurare Private Service Connect durante la creazione del servizio.

Console

  1. Nella console Google Cloud, apri la pagina Dataproc Metastore:

    Vai a Dataproc Metastore

  2. Nella parte superiore della pagina Dataproc Metastore, fai clic su Crea.

    Viene visualizzata la pagina Crea servizio.

  3. Configura il servizio in base alle tue esigenze.

  4. In Configurazione di rete, fai clic su Rendi i servizi accessibili in più subnet VPC.

  5. Seleziona Subnet. Puoi specificare fino a cinque subnet.

  6. Fai clic su Fine.

  7. Fai clic su Invia.

Verifica la configurazione di rete del servizio:

  1. Nella console Google Cloud, apri la pagina Dataproc Metastore:

    Vai a Dataproc Metastore

  2. Nella pagina Dataproc Metastore, fai clic sul nome del servizio che vuoi visualizzare.

    Nella pagina Dettagli del servizio per quel servizio. si apre.

  3. Nella scheda Configurazione, verifica che i dettagli mostrino più reti VPC per gli URI della subnet.

gcloud

  1. Esegui questo comando gcloud metastore services create per crea un servizio con Private Service Connect:

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --consumer-subnetworks="projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1, projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"

    o

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --network-config-from-file=NETWORK_CONFIG_FROM_FILE

  2. Verifica che la creazione sia riuscita.

REST

Segui le istruzioni dell'API per creare un servizio utilizzando Explorer API.

Nei parametri di richiesta create, utilizza il campo Network Config registrato per configurare Private Service Connect. Puoi specificare da 1 a 5 subnet.

     "network_config": {
       "consumers": [
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1"},
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"}
       ]
     }

Passaggi successivi