Panoramica della rete di Dataproc Metastore

Questo documento fornisce una panoramica delle impostazioni di rete che puoi utilizzare per configurare un servizio Dataproc Metastore.

Riferimento rapido per gli argomenti di networking

Impostazioni di Networking Note
Impostazioni di rete predefinite
Reti VPC Per impostazione predefinita, i servizi Dataproc Metastore utilizzano le reti VPC per collegarsi a Google Cloud.

Dopo aver creato la rete VPC, Dataproc Metastore configura automaticamente anche il peering di rete VPC per il servizio.
Subnet VPC Facoltativamente, puoi scegliere di creare servizi Dataproc Metastore con una subnet VPC utilizzando Private Service Connect. Questa è un'alternativa all'utilizzo delle reti VPC.
Impostazioni di rete aggiuntive
Reti VPC condivise Facoltativamente, puoi scegliere di creare servizi Dataproc Metastore in una rete VPC condiviso.
Networking on-premise Puoi connetterti a un servizio Metastore di Dataproc con un ambiente on-premise utilizzando Cloud VPN o Cloud Interconnect.
Controlli di servizio VPC Facoltativamente, puoi scegliere di creare servizi Dataproc Metastore con i Controlli di servizio VPC.
Regole firewall In ambienti non predefiniti o privati con un'impronta di sicurezza stabilita, potresti dover creare le tue regole firewall.

Impostazioni di networking predefinite

La sezione seguente descrive le impostazioni di rete predefinite utilizzate da Dataproc Metastore: reti VPC e peering di rete VPC.

Reti VPC

Per impostazione predefinita, i servizi Dataproc Metastore utilizzano le reti VPC per connettersi a Google Cloud. Una rete VPC è una versione virtuale di una rete fisica implementata all'interno della rete di produzione di Google. Quando crei un Dataproc Metastore, il servizio crea automaticamente la rete VPC per te.

Se non modifichi le impostazioni durante la creazione del servizio, Dataproc Metastore utilizza la rete VPC default. Con questa impostazione, la rete VPC utilizzata con il servizio Dataproc Metastore può appartenere allo stesso progetto Google Cloud o a un progetto diverso. Questa impostazione ti consente anche di esporre il servizio in una singola rete VPC o di renderlo accessibile da più reti VPC (tramite l'utilizzo di sottoreti).

Dataproc Metastore richiede quanto segue per regione per ogni rete VPC:

Peering di rete VPC

Dopo aver creato la rete VPC, Dataproc Metastore configura anche automaticamente il peering di rete VPC per il servizio. La VPC fornisce al tuo servizio l'accesso ai protocolli endpoint di Dataproc Metastore. Dopo aver creato il servizio, puoi visualizzare il peering di rete VPC sottostante nella pagina Peering di rete VPC della console Google Cloud.

Il peering di rete VPC non è transitivo. Ciò significa che solo le reti in peering diretto possono comunicare tra loro. Ad esempio, considera il seguente scenario:

Disponi delle seguenti reti: reti VPC N1, N2 e N3.

  • La rete VPC N1 è accoppiata con N2 e N3.
  • Le reti VPC N2 e N3 non sono connesse direttamente.

Che cosa significa?

Ciò significa che tramite il peering di rete VPC, la rete VPC N2 non può comunicare con la rete VPC N3. Ciò influisce sulle connessioni di Dataproc Metastore nei seguenti modi:

  • Le macchine virtuali che si trovano in reti con peering con la rete del progetto Dataproc Metastore non possono raggiungere Dataproc Metastore.
  • Solo gli host sulla rete VPC possono raggiungere un servizio Dataproc Metastore.

Considerazioni sulla sicurezza del peering di rete VPC

  • Il traffico tramite il peering di rete VPC è fornito con un determinato livello di crittografia. Per ulteriori informazioni, consulta la sezione Crittografia e autenticazione della rete virtuale di Google Cloud.

  • La creazione di una rete VPC per ogni servizio con un indirizzo IP interno offre un isolamento della rete migliore rispetto all'inserimento di tutti i servizi nella rete VPC default.

Subnet VPC

Private Service Connect (PSC) ti consente di configurare una connessione privata ai metadati di Dataproc Metastore nelle reti VPC. Con i Controlli di servizio VPC, puoi creare un servizio senza peering VPC. In questo modo puoi utilizzare i tuoi indirizzi IP interni per accedere a Dataproc Metastore, senza uscire dalle reti VPC o utilizzare indirizzi IP esterni.

Per configurare Private Service Connect durante la creazione di un servizio, consulta Private Service Connect con Dataproc Metastore.

Indirizzi IP

Per connetterti a una rete e contribuire a proteggere i metadati, i servizi Dataproc Metastore utilizzano solo indirizzi IP interni. Ciò significa che gli indirizzi IP pubblici non sono esposti o sono disponibili per scopi di networking.

Se utilizzi un indirizzo IP interno, Dataproc Metastore può collegarsi solo alle macchine virtuali (VM) esistenti su reti Virtual Private Cloud (VPC) specifiche o in un ambiente on-premise.

Le connessioni a un servizio Dataproc Metastore che utilizzano un indirizzo IP interno utilizzano intervalli di indirizzi RFC 1918. L'utilizzo di questi intervalli comporta che Dataproc Metastore alloca un intervallo /17 e un intervallo /20 dallo spazio degli indirizzi per ogni regione. Ad esempio, per posizionare i servizi Dataproc Metastore in due regioni è necessario che l'intervallo di indirizzi IP allocato contenga quanto segue:

  • Almeno due blocchi di indirizzi inutilizzati di dimensioni /17.
  • Almeno due blocchi di indirizzi inutilizzati di dimensioni /20.

Se non vengono trovati blocchi di indirizzi RFC 1918, Dataproc Metastore individua blocchi di indirizzi non RFC 1918 adatti. Tieni presente che l'allocazione dei blocchi non RFC 1918 non tiene conto del fatto che questi indirizzi siano o meno in uso nella rete VPC o on-premise.

Impostazioni di rete aggiuntive

Se hai bisogno di impostazioni di rete diverse, puoi utilizzare le seguenti opzioni con il servizio Dataproc Metastore.

Rete VPC condivisa

Puoi creare servizi Dataproc Metastore in una VPC condiviso condivisa. Una VPC condiviso consente di connettere le risorse Dataproc Metastore di più progetti a una rete VPC (VPC) comune.

Per configurare una VPC condiviso durante la creazione di un servizio, consulta Creare un servizio Dataproc Metastore.

Networking on-premise

Puoi connetterti a un servizio Dataproc Metastore con un ambiente on-premise utilizzando Cloud VPN o Cloud Interconnect.

Controlli di servizio VPC

I Controlli di servizio VPC migliorano la tua capacità di ridurre il rischio di esfiltrazione di dati. Con i Controlli di servizio VPC, crei perimetri attorno al servizio Dataproc Metastore. I Controlli di servizio VPC limitano l'accesso alle risorse all'interno del perimetro dall'esterno. Solo i client e le risorse all'interno del perimetro possono interagire tra loro.

Per utilizzare Controlli di servizio VPC con Dataproc Metastore, consulta Controlli di servizio VPC con Dataproc Metastore. Consulta anche le limitazioni di Dataproc Metastore quando utilizzi i Controlli di servizio VPC.

Regole firewall per Dataproc Metastore

In ambienti non predefiniti o privati con un'impronta di sicurezza stabilita, potrebbe essere necessario creare le tue regole firewall. In questo caso, non creare una regola firewall che blocchi l'intervallo di indirizzi IP o la porta dei tuoi servizi Dataproc Metastore.

Quando crei un servizio Dataproc Metastore, puoi accettare la rete predefinita per il servizio. La rete predefinita garantisce accesso completo alla rete IP interna per le VM.

Per informazioni più generali sulle regole firewall, consulta Regole firewall VPC e Utilizzo delle regole firewall VPC.

Creare una regola firewall per una rete personalizzata

Quando utilizzi una rete personalizzata, assicurati che la regola firewall consenta il traffico proveniente e diretto all'endpoint Dataproc Metastore. Per consentire esplicitamente il traffico di Dataproc Metastore, esegui i seguenti comandigcloud:

gcloud compute firewall-rules create dpms-allow-egress-DPMS_NETWORK-REGION --allow tcp --destination-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK --direction OUT

gcloud compute firewall-rules create dpms-allow-ingress-DPMS_NETWORK-REGION --allow tcp,udp --source-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK

Per DPMS_NET_PREFIX, applica una subnet mask /17 all'IP del servizio Dataproc Metastore. Puoi trovare le informazioni sull'indirizzo IP di Dataproc Metastore nella configurazione di endpointUri nella pagina Dettagli servizio.

Considerazioni

Le reti hanno una regola di uscita consentita implicita che in genere consente l'accesso dalla tua rete a Dataproc Metastore. Se crei regole di esclusione che sostituiscono la regola di esportazione consentita implicita, devi creare una regola di esportazione consentita con una priorità più alta per consentire l'esportazione all'IP Dataproc Metastore.

Alcune funzionalità, come Kerberos, richiedono che Dataproc Metastore inizi le connessioni agli host nella rete del progetto. Tutte le reti hanno una regola di immissione di rifiuto implicita che blocca queste connessioni e impedisce il funzionamento di queste funzionalità. Devi creare una regola firewall che consenta il traffico in entrata TCP e UDP su tutte le porte dall'intervallo IP /17 contenente l'IP del metastore Dataproc.

Routing personalizzato

Le route personalizzate sono destinate alle subnet che utilizzano indirizzi IP pubblici utilizzati privatamente (PUPI). Le route personalizzate consentono alla tua rete VPC di connettersi a una rete peer. Le route personalizzate possono essere ricevute solo quando la rete VPC le importa e la rete peer le esporta esplicitamente. Le route personalizzate possono essere statiche o dinamiche.

La condivisione di route personalizzate con reti VPC in peering consente alle reti di "apprendere" le route direttamente dalle reti in peering. Ciò significa che quando viene aggiornato un percorso personalizzato in una rete in peer, la rete VPC apprende e implementa automaticamente il percorso personalizzato senza richiedere alcuna azione aggiuntiva da parte tua.

Per ulteriori informazioni sul routing personalizzato, consulta network config.

Esempio di rete Dataproc Metastore

Nell'esempio seguente, Google alloca gli intervalli di indirizzi 10.100.0.0/17 e 10.200.0.0/20 nella rete VPC del cliente per i servizi Google e li utilizza in una rete VPC in peering.

INSERT ALT TEXT HERE
Figura 1. Configurazione della rete VPC di Dataproc Metastore

Descrizione dell'esempio di networking:

  • Sul lato dei servizi Google del peering VPC, Google crea un progetto per il cliente. Il progetto è isolato, il che significa che nessun altro cliente lo condivide e al cliente vengono fatturate solo le risorse che prevede.
  • Quando viene creato il primo servizio Dataproc Metastore in una regione, Dataproc Metastore assegna un intervallo /17 e un intervallo /20 nella rete del cliente per tutto l'utilizzo futuro dei servizi Dataproc Metastore nella regione e nella rete. Dataproc Metastore suddivide ulteriormente questi intervalli per creare sottoreti e intervalli di indirizzi nel progetto di producer di servizi.
  • I servizi VM nella rete del cliente possono accedere alle risorse del servizio Dataproc Metastore in qualsiasi regione se il servizio Google Cloud lo supporta. Alcuni servizi Google Cloud potrebbero non supportare la comunicazione tra regioni.
  • I costi per il traffico in uscita per il traffico tra regioni, quando un'istanza VM comunica con risorse in un'altra regione, rimangono applicati.
  • Google assegna al servizio Dataproc Metastore l'indirizzo IP10.100.0.100. Nella rete VPC del cliente, le richieste con destinazione 10.100.0.100 vengono inoltrate tramite il peering VPC alla rete del producer di servizi. Dopo aver raggiunto la rete del servizio, la rete del servizio contiene route che indirizzano la richiesta alla risorsa corretta.
  • Il traffico tra le reti VPC viene trasferito internamente all'interno della rete di Google, non tramite la rete internet pubblica.

Passaggi successivi