Panoramica della rete di Dataproc Metastore

Questo documento fornisce una panoramica delle impostazioni di rete che puoi utilizzare per configurare un servizio Dataproc Metastore.

Riferimento rapido per gli argomenti di networking

Impostazioni di networking Note
Impostazioni di rete predefinite
Reti VPC Per impostazione predefinita, i servizi Dataproc Metastore utilizzano le reti VPC per collegarsi a Google Cloud.

Una volta creata la rete VPC, Dataproc Metastore configura automaticamente il peering di rete VPC per il tuo servizio.
Subnet VPC Facoltativamente, puoi scegliere di creare Dataproc Metastore con una subnet VPC utilizzando Private Service Connect. Questa è un'alternativa all'utilizzo delle reti VPC.
Impostazioni di rete aggiuntive
Reti VPC condivise Facoltativamente, puoi scegliere di creare servizi Dataproc Metastore in una rete VPC condivisa.
Networking on-premise Puoi connetterti a un servizio Dataproc Metastore con in un ambiente on-premise utilizzando Cloud VPN o Cloud Interconnect.
Controlli di servizio VPC Se vuoi, puoi scegliere di creare servizi Dataproc Metastore con i Controlli di servizio VPC.
Regole firewall In ambienti non predefiniti o privati con una sicurezza consolidata potrebbe essere necessario creare regole firewall personalizzate.

Impostazioni di rete predefinite

La sezione seguente descrive le impostazioni di rete predefinite utilizzate da Dataproc Metastore: reti VPC e peering di rete VPC.

Reti VPC

Per impostazione predefinita, i servizi Dataproc Metastore utilizzano VPC Reti per connettersi a Google Cloud. Una rete VPC è una versione virtuale di una rete fisica implementata all'interno della rete di produzione di Google. Quando crei un Dataproc Metastore, il servizio crea automaticamente la rete VPC per te.

Se non modifichi le impostazioni durante la creazione del servizio, Dataproc Metastore utilizza la rete VPC default. Con questa impostazione, la rete VPC utilizzata con il servizio Dataproc Metastore può appartenere allo stesso progetto Google Cloud o a un progetto diverso. Questa impostazione ti consente anche di esporre il servizio in una singola rete VPC o di renderlo accessibile da più reti VPC (tramite l'utilizzo di sottoreti).

Dataproc Metastore richiede quanto segue per regione per ogni rete VPC:

Peering di rete VPC

Dopo aver creato la rete VPC, Dataproc Metastore configura anche automaticamente il peering di rete VPC per il servizio. VPC fornisce al tuo servizio l'accesso a Dataproc Metastore protocolli endpoint. Dopo aver creato il servizio, puoi visualizzare il peering di rete VPC sottostante nella pagina Peering di rete VPC della console Google Cloud.

Il peering di rete VPC non è transitivo. Ciò significa che solo i peering diretto le reti possono comunicare tra loro. Ad esempio, considera quanto segue: :

Disponi delle seguenti reti: reti VPC N1, N2 e N3.

  • La rete VPC N1 è accoppiata con N2 e N3.
  • Le reti VPC N2 e N3 non sono connesse direttamente.

Che cosa significa?

Ciò significa che tramite il peering di rete VPC, la rete VPC N2 non può comunicare con la rete VPC N3. Ciò influisce sulle connessioni di Dataproc Metastore nei seguenti modi:

  • Macchine virtuali che si trovano in reti in peering con il tuo La rete del progetto Dataproc Metastore non riesce a raggiungere Dataproc Metastore.
  • Solo gli host sulla rete VPC possono raggiungere un servizio Dataproc Metastore.

Considerazioni sulla sicurezza del peering di rete VPC

  • Il traffico sul peering di rete VPC è fornito con un determinato livello della crittografia. Per saperne di più, consulta Rete virtuale Google Cloud la crittografia e l'autenticazione.

  • La creazione di una rete VPC per ogni servizio con un indirizzo IP interno offre un isolamento della rete migliore rispetto all'inserimento di tutti i servizi nella rete VPC default.

Subnet VPC

Private Service Connect (PSC) consente di configurare una connessione privata Metadati Dataproc Metastore nelle reti VPC. Con i Controlli di servizio VPC, puoi creare un servizio senza peering VPC. In questo modo puoi utilizzare i tuoi indirizzi IP interni per accedere a Dataproc Metastore, senza uscire dalle reti VPC o utilizzare indirizzi IP esterni.

Per configurare Private Service Connect quando crei un servizio, consulta Private Service Connect con Dataproc Metastore.

Indirizzi IP

Per connetterti a una rete e contribuire a proteggere i metadati, i servizi Dataproc Metastore utilizzano solo indirizzi IP interni. Questo significa che gli indirizzi IP pubblici non sono esposti o sono disponibili per il networking scopi.

Se utilizzi un indirizzo IP interno, Dataproc Metastore può collegarsi solo alle macchine virtuali (VM) esistenti su reti Virtual Private Cloud (VPC) specifiche o in un ambiente on-premise.

Le connessioni a un servizio Dataproc Metastore che utilizzano un indirizzo IP interno utilizzano intervalli di indirizzi RFC 1918. L'utilizzo di questi intervalli comporta l'allocazione da parte di Dataproc Metastore di un intervallo /17 e di un intervallo /20 dallo spazio degli indirizzi per ogni regione. Ad esempio, inserendo per i servizi Dataproc Metastore in due regioni è necessario di indirizzi IP allocati contiene quanto segue:

  • Almeno due blocchi di indirizzi inutilizzati di dimensioni /17.
  • Almeno due blocchi di indirizzi non utilizzati di dimensioni pari a /20.

Se non vengono trovati i blocchi di indirizzi RFC 1918, Dataproc Metastore trova blocchi di indirizzi adatti non conformi alla RFC 1918. Tieni presente che l'allocazione dei blocchi non RFC 1918 non tiene conto del fatto che questi indirizzi siano o meno in uso nella rete VPC o on-premise.

Impostazioni di rete aggiuntive

Se hai bisogno di impostazioni di rete diverse, puoi utilizzare le seguenti opzioni con il tuo servizio Dataproc Metastore.

Rete VPC condivisa

Puoi creare servizi Dataproc Metastore in una rete VPC condivisa. Una rete VPC condivisa consente di connettere le risorse Dataproc Metastore di più progetti a una rete VPC (VPC) comune.

Per configurare un VPC condiviso durante la creazione di un servizio, vedi Creare un servizio Dataproc Metastore.

Networking on-premise

Puoi connetterti a un servizio Dataproc Metastore con un ambiente on-premise utilizzando Cloud VPN o Cloud Interconnect.

Controlli di servizio VPC

I Controlli di servizio VPC migliorano la tua capacità di ridurre il rischio di esfiltrazione di dati. Con i Controlli di servizio VPC, crei perimetri attorno al servizio Dataproc Metastore. I Controlli di servizio VPC limitano l'accesso alle risorse all'interno del perimetro dall'esterno. Solo i client e le risorse all'interno del perimetro possono interagire tra loro.

Per utilizzare Controlli di servizio VPC con Dataproc Metastore, consulta Controlli di servizio VPC con Dataproc Metastore. Esamina anche Limitazioni di Dataproc Metastore quando si utilizza il servizio VPC i controlli.

Regole firewall per Dataproc Metastore

In ambienti non predefiniti o privati con un'impronta di sicurezza stabilita, potrebbe essere necessario creare le tue regole firewall. Se sì, è necessario creare una regola firewall che blocchi l'intervallo di indirizzi IP dei servizi Dataproc Metastore.

Quando crei un servizio Dataproc Metastore, puoi accettare la rete predefinita per il servizio. La rete predefinita garantisce accesso completo alla rete IP interna per le VM.

Per informazioni più generali sulle regole firewall, vedi Regole firewall VPC e Utilizzo delle regole firewall VPC.

Creare una regola firewall per una rete personalizzata

Se utilizzi una rete personalizzata, assicurati che la regola firewall consenta il traffico provenienti da e verso l'endpoint Dataproc Metastore. Per consentire esplicitamente il traffico di Dataproc Metastore, esegui i seguenti comandi gcloud:

gcloud compute firewall-rules create dpms-allow-egress-DPMS_NETWORK-REGION --allow tcp --destination-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK --direction OUT

gcloud compute firewall-rules create dpms-allow-ingress-DPMS_NETWORK-REGION --allow tcp,udp --source-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK

Per DPMS_NET_PREFIX, applica una subnet mask /17 a l'IP del tuo servizio Dataproc Metastore. Puoi trovare le le informazioni sull'indirizzo IP di Dataproc Metastore Configurazione di endpointUri nella pagina Dettagli servizio.

Considerazioni

Le reti hanno una regola di autorizzazione in uscita implicita che normalmente consente l'accesso da della tua rete a Dataproc Metastore. Se crei regole di esclusione che sostituiscono la regola di esportazione consentita implicita, devi creare una regola di esportazione consentita con una priorità più alta per consentire l'esportazione all'IP Dataproc Metastore.

Alcune funzionalità come Kerberos richiedono che Dataproc Metastore per avviare le connessioni agli host nella rete del progetto. Tutte le reti hanno un regola di negazione in entrata implicita che bloccano queste connessioni e ne impediscono il funzionamento. Devi creare una regola firewall che consenta il traffico in entrata TCP e UDP su tutte le porte dal blocco IP /17 contenente l'IP del metastore Dataproc.

Routing personalizzato

Le route personalizzate sono destinate alle subnet che utilizzano indirizzi IP pubblici utilizzati privatamente (PUPI). Le route personalizzate consentono alla tua rete VPC di connettersi a una rete peer. Le route personalizzate possono essere ricevute solo quando la tua rete VPC le importa che la rete peer li esporta esplicitamente. Le route personalizzate possono essere statiche o dinamiche.

La condivisione di route personalizzate con reti VPC in peering consente alle reti di "imparare" route direttamente dalle loro reti in peering. Ciò significa che quando una route personalizzata in una rete in peering viene aggiornata, la rete VPC apprende implementi la route personalizzata senza richiedere alcun intervento aggiuntivo da parte tua.

Per ulteriori informazioni sul routing personalizzato, consulta la sezione sulla configurazione di rete.

Esempio di networking Dataproc Metastore

Nell'esempio seguente, Google alloca gli intervalli di indirizzi 10.100.0.0/17 e 10.200.0.0/20 nella rete VPC del cliente per i servizi Google e li utilizza in una rete VPC in peering.

INSERT ALT TEXT HERE
Figura 1. Configurazione della rete VPC di Dataproc Metastore

Descrizione dell'esempio di networking:

  • Per quanto riguarda i servizi Google sul peering VPC, Google crea un progetto per il cliente. Il progetto è isolato, il che significa che mentre gli altri clienti lo condividono e al cliente vengono addebitate solo le risorse forniti dal cliente.
  • Quando viene creato il primo servizio Dataproc Metastore in una regione, Dataproc Metastore assegna un intervallo /17 e un intervallo /20 nella rete del cliente per tutto l'utilizzo futuro dei servizi Dataproc Metastore nella regione e nella rete. Dataproc Metastore suddivide ulteriormente questi intervalli per creare sottoreti e intervalli di indirizzi nel progetto del produttore di servizi.
  • I servizi VM nella rete del cliente possono accedere alle risorse di servizio Dataproc Metastore in qualsiasi regione se è supportato dal servizio Google Cloud. Alcuni servizi Google Cloud potrebbe non supportare la comunicazione tra regioni.
  • I costi per il traffico in uscita per il traffico tra regioni, in cui un'istanza VM comunica con risorse in un'altra regione, rimangono applicati.
  • Google assegna al servizio Dataproc Metastore l'indirizzo IP10.100.0.100. Nella rete VPC del cliente, le richieste con destinazione 10.100.0.100 vengono inoltrate tramite il peering VPC alla rete del producer di servizi. Dopo aver raggiunto il servizio rete, la rete di servizi contiene route che indirizzano la richiesta alla risorsa corretta.
  • Il traffico tra le reti VPC viaggia all'interno tramite la rete Google, non attraverso la rete internet pubblica.

Passaggi successivi