Panoramica del networking di Dataproc Metastore

Questo documento fornisce una panoramica delle impostazioni di networking che puoi utilizzare per configurare un servizio Dataproc Metastore.

Nota: la maggior parte dei concetti di networking in questa pagina si applica solo ai servizi Dataproc Metastore che utilizzano il protocollo dell'endpoint di Thhrift. Se utilizzi il protocollo dell'endpoint gRPC, l'unica configurazione di rete che devi prendere in considerazione in questo documento sono i Controlli di servizio VPC.

Riferimento rapido per gli argomenti di networking

Impostazioni di Networking	Note
Impostazioni di rete predefinite
Reti VPC	Per impostazione predefinita, i servizi Dataproc Metastore utilizzano le reti VPC per connettersi a Google Cloud. Dopo la creazione della rete VPC, Dataproc Metastore configura automaticamente anche il peering di rete VPC per il servizio.
Subnet VPC	Facoltativamente, puoi scegliere di creare servizi Dataproc Metastore con una subnet VPC utilizzando Private Service Connect. Questa è un'alternativa all'utilizzo delle reti VPC.
Impostazioni di rete aggiuntive
Reti VPC condivise	Facoltativamente, puoi scegliere di creare servizi Dataproc Metastore in una rete VPC condiviso.
Networking on-premise	Puoi connetterti a un servizio Dataproc Metastore con un ambiente on-premise utilizzando Cloud VPN o Cloud Interconnect.
Controlli di servizio VPC	Facoltativamente, puoi scegliere di creare servizi Dataproc Metastore con Controlli di servizio VPC.
Regole firewall	Negli ambienti non predefiniti o privati con un impatto di sicurezza stabilito, potrebbe essere necessario creare regole firewall personalizzate.

Impostazioni di rete predefinite

La seguente sezione descrive le impostazioni di rete predefinite utilizzate da Dataproc Metastore: reti VPC e peering di rete VPC.

Reti VPC

Per impostazione predefinita, i servizi Dataproc Metastore utilizzano le reti VPC per connettersi a Google Cloud. Una rete VPC è una versione virtuale di una rete fisica implementata all'interno della rete di produzione di Google. Quando crei un Dataproc Metastore, il servizio crea automaticamente la rete VPC.

Se non modifichi le impostazioni quando crei il servizio, Dataproc Metastore utilizza la rete VPC default. Con questa impostazione, la rete VPC che utilizzi con il servizio Dataproc Metastore può appartenere allo stesso progetto Google Cloud o a un progetto diverso. Questa impostazione consente inoltre di esporre il servizio in una singola rete VPC o di renderlo accessibile da più reti VPC (tramite l'utilizzo di sottoreti).

Dataproc Metastore richiede quanto segue per regione per ogni rete VPC:

• 1 quota di peering
• /17 e /20 CIDR

Peering di rete VPC

Dopo aver creato la rete VPC, Dataproc Metastore configura automaticamente anche il peering di rete VPC per il servizio. VPC fornisce al tuo servizio l'accesso ai protocolli endpoint Dataproc Metastore. Dopo aver creato il servizio, puoi vedere il rispettivo peering di rete VPC sottostante nella pagina Peering di rete VPC nella console Google Cloud.

Il peering di rete VPC non è transitivo. Ciò significa che solo le reti in peering direttamente possono comunicare tra loro. Prendiamo in considerazione, ad esempio, il seguente scenario:

Hai le seguenti reti, la rete VPC N1, N2 e N3.

• La rete VPC N1 è accoppiata con N2 e N3.
• Le reti VPC N2 e N3 non sono collegate direttamente.

Che cosa significa?

Significa che tramite il peering di rete VPC, la rete VPC N2 non può comunicare con la rete VPC N3. Questo influisce sulle connessioni a Dataproc Metastore nei seguenti modi:

• Le macchine virtuali che si trovano in reti connesse in peering con la rete del progetto Dataproc Metastore non possono raggiungere Dataproc Metastore.
• Solo gli host sulla rete VPC possono raggiungere un servizio Dataproc Metastore.

Considerazioni sulla sicurezza del peering di rete VPC

• Il traffico tramite peering di rete VPC è fornito con un determinato livello di crittografia. Per ulteriori informazioni, consulta Crittografia e autenticazione delle reti virtuali Google Cloud.

• La creazione di una rete VPC per ogni servizio con un indirizzo IP interno offre un migliore isolamento della rete rispetto all'inserimento di tutti i servizi nella rete VPC default.

Subnet VPC

Private Service Connect (PSC) consente di impostare una connessione privata ai metadati di Dataproc Metastore nelle reti VPC. Con PSC, puoi creare un servizio senza peering VPC. In questo modo puoi utilizzare i tuoi indirizzi IP interni per accedere a Dataproc Metastore, senza uscire dalle reti VPC o utilizzare indirizzi IP esterni.

Per configurare Private Service Connect durante la creazione di un servizio, consulta Private Service Connect con Dataproc Metastore.

Indirizzi IP

Per connettersi a una rete e proteggere i metadati, i servizi Dataproc Metastore utilizzano solo indirizzi IP interni. Ciò significa che gli indirizzi IP pubblici non sono esposti o sono disponibili per scopi di networking.

Utilizzando un indirizzo IP interno, Dataproc Metastore può connettersi solo a macchine virtuali (VM) esistenti su reti VPC (Virtual Private Cloud) specificate o in un ambiente on-premise.

Le connessioni a un servizio Dataproc Metastore mediante indirizzi IP interni utilizzano intervalli di indirizzi RFC 1918. Utilizzando questi intervalli, Dataproc Metastore alloca un intervallo /17 e un intervallo /20 dallo spazio degli indirizzi per ogni regione. Ad esempio, l'inserimento dei servizi Dataproc Metastore in due regioni richiede che l'intervallo di indirizzi IP allocati contenga quanto segue:

• Almeno due blocchi di indirizzi non utilizzati di dimensione /17.
• Almeno due blocchi di indirizzi inutilizzati di dimensioni /20.

Se non vengono trovati blocchi di indirizzi RFC 1918, Dataproc Metastore trova invece blocchi di indirizzi non RFC 1918 adatti. Tieni presente che l'allocazione di blocchi non conformi alla RFC 1918 non prende in considerazione se gli indirizzi sono in uso nella rete VPC o on-premise.

Impostazioni di rete aggiuntive

Se hai bisogno di impostazioni di rete diverse, puoi utilizzare le seguenti opzioni con il servizio Dataproc Metastore.

Rete VPC condivisa

Puoi creare i servizi Dataproc Metastore in una VPC condiviso condivisa. Un VPC condiviso consente di connettere risorse Dataproc Metastore di più progetti a una rete VPC (VPC) comune.

Per configurare un VPC condiviso durante la creazione di un servizio, consulta Creazione di un servizio Dataproc Metastore.

Networking on-premise

Puoi connetterti a un servizio Dataproc Metastore con un ambiente on-premise utilizzando Cloud VPN o Cloud Interconnect.

Controlli di servizio VPC

I Controlli di servizio VPC migliorano la tua capacità di mitigare il rischio di esfiltrazione dei dati. Con i Controlli di servizio VPC, crei perimetri intorno al servizio Dataproc Metastore. I Controlli di servizio VPC limitano l'accesso alle risorse all'interno del perimetro dall'esterno. Solo i client e le risorse all'interno del perimetro possono interagire tra loro.

Per utilizzare Controlli di servizio VPC con Dataproc Metastore, consulta Controlli di servizio VPC con Dataproc Metastore. Esamina anche le limitazioni di Dataproc Metastore quando si utilizzano i Controlli di servizio VPC.

Regole firewall per Dataproc Metastore

Negli ambienti non predefiniti o privati con un ingombro di sicurezza stabilito, potrebbe essere necessario creare regole firewall personalizzate. In caso contrario, non creare una regola firewall che blocchi l'intervallo di indirizzi IP o la porta dei servizi Dataproc Metastore.

Quando crei un servizio Dataproc Metastore, puoi accettare la rete predefinita per il servizio. La rete predefinita garantisce l'accesso completo alla rete IP interno per le VM.

Per informazioni più generali sulle regole firewall, consulta Regole firewall VPC e Utilizzo delle regole firewall VPC.

Crea una regola firewall per una rete personalizzata

Quando utilizzi una rete personalizzata, assicurati che la regola firewall consenta il traffico in entrata e in uscita dall'endpoint di Dataproc Metastore. Per consentire esplicitamente il traffico di Dataproc Metastore, esegui i seguenti comandi gcloud:

gcloud compute firewall-rules create dpms-allow-egress-DPMS_NETWORK-REGION --allow tcp --destination-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK --direction OUT

gcloud compute firewall-rules create dpms-allow-ingress-DPMS_NETWORK-REGION --allow tcp,udp --source-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK

Per DPMS_NET_PREFIX, applica una subnet mask /17 all'IP del servizio Dataproc Metastore. Puoi trovare le informazioni sull'indirizzo IP di Dataproc Metastore nella configurazione endpointUri della pagina Dettagli servizio.

Considerazioni

Le reti hanno una regola di autorizzazione del traffico in uscita implicita che normalmente consente l'accesso dalla rete a Dataproc Metastore. Se crei regole di negazione del traffico in uscita che sostituiscono la regola implicita di autorizzazione del traffico in uscita, devi creare una regola di autorizzazione del traffico in uscita con una priorità più elevata per consentire il traffico in uscita verso l'IP di Dataproc Metastore.

Alcune funzionalità, come Kerberos, richiedono Dataproc Metastore per avviare le connessioni agli host nella rete del progetto. Tutte le reti hanno una regola di negazione implicita in entrata che blocca queste connessioni e ne impedisce il funzionamento. Devi creare una regola firewall che consenta il traffico TCP e UDP in entrata su tutte le porte dal blocco IP /17 contenente l'IP di Dataproc Metastore.

Routing personalizzato

Le route personalizzate sono per le subnet che utilizzano indirizzi IP pubblici utilizzati privatamente (PUPI). Le route personalizzate consentono alla rete VPC di connettersi a una rete peer. Le route personalizzate possono essere ricevute solo quando la rete VPC le importa e la rete peer le esporta esplicitamente. Le route personalizzate possono essere statiche o dinamiche.

La condivisione di route personalizzate con reti VPC in peering consente alle reti di "apprendere" le route direttamente dalle reti in peering. Ciò significa che quando una route personalizzata in una rete in peering viene aggiornata, la tua rete VPC apprende e implementa automaticamente la route personalizzata senza richiedere ulteriori azioni da parte tua.

Per ulteriori informazioni sul routing personalizzato, consulta Configurazione di rete.

Esempio di networking di Dataproc Metastore

Nell'esempio seguente, Google alloca gli intervalli di indirizzi 10.100.0.0/17 e 10.200.0.0/20 nella rete VPC del cliente per i servizi Google e utilizza gli intervalli di indirizzi in una rete VPC in peering.

Figura 1. Configurazione della rete VPC di Dataproc Metastore

Descrizione dell'esempio di networking:

• Sul lato dei servizi Google del peering VPC, Google crea un progetto per il cliente. Il progetto è isolato, il che significa che nessun altro cliente lo condivide e al cliente vengono addebitate solo le risorse che il cliente fornisce.
• Durante la creazione del primo servizio Dataproc Metastore in una regione, Dataproc Metastore alloca un intervallo /17 e un intervallo /20 nella rete del cliente per tutti gli utilizzi futuri dei servizi Dataproc Metastore in quella regione e rete. Dataproc Metastore suddivide ulteriormente questi intervalli per creare subnet e intervalli di indirizzi nel progetto di producer di servizi.
• I servizi VM nella rete del cliente possono accedere alle risorse di servizio Dataproc Metastore in qualsiasi regione, se il servizio Google Cloud la supporta. Alcuni servizi Google Cloud potrebbero non supportare la comunicazione tra regioni.
• Si applicano comunque i costi in uscita per il traffico tra regioni, in cui un'istanza VM comunica con risorse di un'altra regione.
• Google assegna al servizio Dataproc Metastore l'indirizzo IP 10.100.0.100. Nella rete VPC del cliente, le richieste con destinazione 10.100.0.100 vengono instradate tramite il peering VPC alla rete del producer di servizi. Dopo aver raggiunto la rete di servizi, la rete di servizi contiene route che indirizzano la richiesta alla risorsa corretta.
• Il traffico tra le reti VPC passa all'interno della rete Google, non attraverso la rete internet pubblica.

Passaggi successivi

• Controlli di servizio VPC con Dataproc Metastore
• IAM e controllo dell'accesso per Dataproc Metastore
• Private Service Connect con Dataproc Metastore