Private Service Connect con Dataproc Metastore

Questa pagina spiega che cos'è Private Service Connect e come utilizzarlo per il networking come alternativa al peering VPC.

Servizio Dataproc Metastore senza peering VPC

Dataproc Metastore protegge il suo accesso ai metadati esponendo solo gli endpoint IP privati. Limita inoltre la connettività alle VM nella rete VPC fornita dal cliente tramite il peering VPC.

Dataproc Metastore richiede quanto segue per ogni area geografica per ogni rete VPC:

La configurazione del peering VPC e della prenotazione degli indirizzi IP costituisce una sfida per le reti VPC affollate. Analogamente, una rete VPC potrebbe non avere una quota di peering sufficiente per supportare ulteriori richieste di peering. Entrambe queste limitazioni impediscono la creazione di nuovi servizi Dataproc Metastore.

Puoi creare un servizio Dataproc Metastore senza peering VPC e blocchi di indirizzi utilizzando Private Service Connect per esporre l'endpoint Dataproc Metastore. Private Service Connect consente di stabilire una connessione privata ai metadati Dataproc sulle reti VPC.

Con Private Service Connect, Dataproc Metastore richiede una singola prenotazione dell'indirizzo nella subnet e una regola di forwarding che ha come target l'allegato del servizio che espone l'endpoint di Dataproc Metastore. La regola di prenotazione e inoltro dell'indirizzo viene creata come parte della chiamata di creazione del servizio Dataproc Metastore.

Crea un servizio Dataproc Metastore con Private Service Connect

Le istruzioni seguenti mostrano come configurare Private Service Connect durante la creazione del servizio.

console

  1. In Google Cloud Console, apri la pagina Dataproc Metastore:

    Apri Dataproc Metastore in Google Cloud Console

  2. Nella parte superiore della pagina Metastore Dataproc, fai clic sul pulsante Crea. Viene visualizzata la pagina Crea servizio.

  3. Configura il servizio in base alle tue esigenze.

  4. In Configurazione di rete, fai clic su Rendi i servizi accessibili in più subnet VPC.

  5. Seleziona Subnet. Puoi specificare fino a 5 subnet.

  6. Fai clic su Fine.

  7. Fai clic su Invia.

Verifica la configurazione di rete del servizio:

  1. In Google Cloud Console, apri la pagina Dataproc Metastore:

    Apri Dataproc Metastore in Google Cloud Console

  2. Nella pagina Dataproc Metastore, fai clic sul nome del servizio che vuoi visualizzare. Si apre la pagina Dettagli del servizio relativa al servizio in questione.

  3. Nella scheda Configurazione, verifica che i dettagli mostrino più URI di subnet VPC.

gcloud

  1. Esegui il comando gcloud metastore services create seguente per creare un servizio con Private Service Connect:

    gcloud metastore services create SERVICE \
       --location=LOCATION \
       --consumer-subnetworks="projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1, projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"
    

    o

    gcloud metastore services create SERVICE \
       --location=LOCATION \
       --network-config-from-file=NETWORK_CONFIG_FROM_FILE
    
  2. Verifica che la creazione sia andata a buon fine.

REST

Segui le istruzioni dell'API per creare un servizio utilizzando Explorer API.

Nei parametri della richiesta create, utilizza il campo Network Config per configurare Private Service Connect:

     "network_config": {
       "consumers": [
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1"},
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"}
       ]
     }
   

Puoi specificare da 1 a 5 subnet.

Dataproc Metastore prenota gli indirizzi e crea regole di inoltro in ciascuna delle subnet specificate. Ogni subnet ha un URI dell'endpoint di Thrift che puoi utilizzare per accedere all'endpoint dei metadati di Dataproc Metastore.

Collega un cluster Dataproc

Puoi collegare un cluster Dataproc che utilizza il servizio Metastore Dataproc con Private Service Connect come metastore Hive utilizzando l'URI endpoint e la directory del warehouse del servizio.

Per saperne di più su come collegare un cluster Dataproc, consulta Collegare un cluster Dataproc utilizzando ENDPOINT_URI e WAREHOUSE_DIR.

Avvertenze per Private Service Connect per Dataproc Metastore

  • Gli endpoint del servizio Dataproc Metastore che utilizzano Private Service Connect supportano solo l'accesso dalle subnet nella stessa area geografica del servizio.
  • La connettività inversa non è possibile. Ciò significa che la configurazione di Kerberos con la configurazione di Private Service Connect non è supportata.
  • La creazione di un servizio Dataproc Metastore con protocollo endpoint gRPC non supporta la configurazione di rete.
  • Non puoi aggiungere o rimuovere dinamicamente le subnet da un servizio Dataproc Metastore. Devi ricreare un servizio se vuoi aggiungere o rimuovere subnet.
  • Non puoi aggiornare un servizio Dataproc Metastore dalla configurazione di Private Service Connect alla configurazione di peering o viceversa.
  • Le versioni ausiliarie non sono supportate per la configurazione di Private Service Connect.

Passaggi successivi