Private Service Connect con Dataproc Metastore

Con Private Service Connect, puoi creare un servizio Dataproc Metastore che non utilizza il peering VPC. Questa pagina spiega che cos'è Private Service Connect e come utilizzarlo come opzione di networking alternativa per Dataproc Metastore.

Come funziona Dataproc Metastore con VPC

Dataproc Metastore protegge l'accesso ai metadati esponendo solo gli endpoint IP privati. Inoltre, limita la connettività alle VM nella tua rete VPC mediante il peering VPC.

Dataproc Metastore richiede le seguenti configurazioni per regione per ogni rete VPC:

Di conseguenza, la configurazione del peering VPC e delle prenotazioni di indirizzi IP può essere difficile su reti VPC affollate. Analogamente, una rete VPC potrebbe non avere una quota di peering sufficiente per soddisfare ulteriori richieste di peering. Entrambe queste limitazioni possono impedirti di creare un nuovo servizio Dataproc Metastore.

Per aggirare questi problemi, puoi usare Dataproc Metastore con Private Service Connect.

Funzionamento di Dataproc Metastore con Private Service Connect

Private Service Connect fornisce una connessione privata ai metadati Dataproc Metastore attraverso le reti VPC.

Per utilizzare Private Service Connect con Dataproc Metastore, sono necessarie le seguenti configurazioni:

  • Una prenotazione con un singolo indirizzo nella subnet.
  • Una regola di forwarding che ha come target il collegamento al servizio che espone l'endpoint Dataproc Metastore. La regola di forwarding e prenotazione degli indirizzi vengono create come parte della chiamata di creazione del servizio Dataproc Metastore.

Considerazioni

  • I servizi Dataproc Metastore che utilizzano Private Service Connect supportano solo l'accesso dalle reti VPC delle subnet specificate durante la creazione del servizio.

  • Dataproc Metastore prenota gli indirizzi e crea regole di forwarding in ciascuna delle subnet specificate. Ogni subnet ha un URI dell'endpoint Thrift che puoi utilizzare per accedere all'endpoint dei metadati Dataproc Metastore.

Limitazioni

  • I servizi Dataproc Metastore che utilizzano il protocollo degli endpoint gRPC non supportano Private Service Connect.
  • La connettività inversa non è supportata con Private Service Connect. Questo significa che non puoi utilizzare una configurazione Kerberos con Private Service Connect.
  • Non puoi aggiungere o rimuovere in modo dinamico le subnet da un servizio Dataproc Metastore configurato con Private Service Connect. Devi invece ricreare un servizio se vuoi aggiungere o rimuovere subnet.
  • Non puoi aggiornare un servizio Dataproc Metastore che utilizza Private Service Connect per utilizzare VPC o viceversa.

Crea un servizio Dataproc Metastore con Private Service Connect

Le seguenti istruzioni mostrano come configurare Private Service Connect durante la creazione del servizio.

Console

  1. Nella console Google Cloud, apri la pagina Dataproc Metastore:

    Vai a Dataproc Metastore

  2. Nella parte superiore della pagina Dataproc Metastore, fai clic su Crea.

    Viene visualizzata la pagina Crea servizio.

  3. Configura il servizio in base alle tue esigenze.

  4. In Configurazione di rete, fai clic su Rendi i servizi accessibili in più subnet VPC.

  5. Seleziona Subnet. Puoi specificare fino a cinque subnet.

  6. Fai clic su Fine.

  7. Fai clic su Invia.

Verifica la configurazione di rete del servizio:

  1. Nella console Google Cloud, apri la pagina Dataproc Metastore:

    Vai a Dataproc Metastore

  2. Nella pagina Dataproc Metastore, fai clic sul nome del servizio che vuoi visualizzare.

    Si apre la pagina Dettagli del servizio per quel servizio.

  3. Nella scheda Configurazione, verifica che i dettagli mostrino più URI di subnet VPC.

gcloud

  1. Esegui questo comando gcloud metastore services create per creare un servizio con Private Service Connect:

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --consumer-subnetworks="projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1, projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"

    o

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --network-config-from-file=NETWORK_CONFIG_FROM_FILE

  2. Verifica che la creazione sia riuscita.

REST

Segui le istruzioni dell'API per creare un servizio utilizzando Explorer API.

Nei parametri della richiesta create, utilizza il campo Network Config registrato per configurare Private Service Connect. Puoi specificare da 1 a 5 subnet.

     "network_config": {
       "consumers": [
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1"},
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"}
       ]
     }

Passaggi successivi