Crea un'istanza privata con peering VPC

Questa pagina descrive come creare un'istanza di Cloud Data Fusion con un indirizzo IP interno. Puoi creare l'istanza in una rete VPC o in una rete VPC condiviso.

Un'istanza privata di Cloud Data Fusion offre i seguenti vantaggi:

• Le connessioni all'istanza vengono stabilite su una rete VPC privata nel tuo progetto Google Cloud. Il traffico sulla rete non passa attraverso la rete internet pubblica.

• L'istanza può connettersi alle risorse on-premise, ad esempio i database relazionali, perché la rete on-premise si connette alla rete VPC privata di Google Cloud tramite Cloud VPN o Cloud Interconnect. Puoi accedere in modo sicuro alle risorse on-premise, come i database, sulla rete privata senza aprire l'accesso a Google Cloud.

Obiettivi

• Configura la rete VPC o la rete VPC condiviso.
• Alloca un intervallo IP che verrà utilizzato per eseguire il deployment dell'istanza Cloud Data Fusion nel progetto tenant.
• Crea l'istanza privata di Cloud Data Fusion.
• Configura il peering di rete VPC tra il VPC che contiene l'istanza di Cloud Data Fusion e il VPC che contiene il progetto tenant associato.
• Per le reti VPC condivise, configura le autorizzazioni di Identity and Access Management (IAM).
• Se l'istanza privata utilizza Cloud Data Fusion versione 6.2.0 o precedenti, crea una regola firewall.
• Consenti ai diversi servizi Google Cloud di comunicare internamente tra loro abilitando l'accesso privato Google sulla subnet Dataproc.

Prima di iniziare

• Per saperne di più sull'architettura di deployment di Cloud Data Fusion, consulta Networking.

Configura la rete VPC

Se non l'hai ancora fatto, crea una rete VPC o una rete VPC condivisa.

Per configurare la rete VPC, devi allocare un intervallo di indirizzi IP.

Alloca un intervallo IP

Rete VPC

Se non utilizzi una rete VPC condiviso, Cloud Data Fusion alloca un intervallo IP per impostazione predefinita quando crei un'istanza.

Nota: se non utilizzi una rete VPC condiviso, salta questa sezione e vai a Creare un'istanza privata.

Rete VPC condivisa

Nota: segui questi passaggi solo se utilizzi una rete VPC condiviso

Per utilizzare un VPC condiviso, devi allocare un intervallo IP per la tua istanza Cloud Data Fusion.

Per allocare un intervallo IP per la tua istanza di Cloud Data Fusion, segui questi passaggi:

1. Nella console Google Cloud, vai alla pagina Reti VPC.

   Vai a Reti VPC

2. Nella colonna Nome, fai clic sulla rete VPC in cui vuoi creare un'istanza di Cloud Data Fusion privata.

   Viene visualizzata la pagina Dettagli rete VPC.

3. Fai clic su Connessione ai servizi privati. Se richiesto, abilita l'API Service Networking facendo clic su Abilita API.

   

4. Fai clic su Assegna intervallo IP.

   1. Assegna un nome all'intervallo IP.

   2. Per Intervallo IP, fai clic su Automatico.

      Nota: per gli intervalli personalizzati, Cloud Data Fusion supporta intervalli di indirizzi IPv4 privati validi, compresi gli intervalli IP non RFC 1918. Non supporta gli intervalli di indirizzi IP esterni utilizzati privatamente. L'allocazione di intervalli non deve consumare IP di nessuna delle tue subnet, ma non deve sovrapporsi ad alcuna allocazione di intervalli che farai in futuro.

   3. Specifica una dimensione del prefisso pari a 22.

      Nota: l'intervallo IP /22 è obbligatorio per ogni istanza di Cloud Data Fusion e non può essere condiviso da più istanze. L'intervallo IP appartiene a Google Cloud ed è il luogo in cui sono ospitati i componenti e l'infrastruttura dell'istanza sottostante.

   4. Fai clic su Assegna.

      

Crea un'istanza privata

Crea l'istanza privata di Cloud Data Fusion in una rete VPC o in una rete VPC condiviso.

Attenzione: dopo aver creato un'istanza di Cloud Data Fusion, non puoi modificarne la versione.

Rete VPC

Per creare l'istanza in una rete VPC, utilizza la console Google Cloud o cURL.

Se utilizzi la console Google Cloud per creare l'istanza privata, Cloud Data Fusion alloca l'intervallo di indirizzi IP /22 per impostazione predefinita. Per scegliere un intervallo IP diverso, devi utilizzare il comando cURL.

Console

1. Vai alla pagina Crea istanza Data Fusion.

   Vai a Crea istanza Data Fusion

2. Inserisci un nome e una descrizione per l'istanza.

3. Seleziona la regione in cui creare l'istanza.

4. Seleziona una versione ed una versione di Cloud Data Fusion.

5. Specifica l'account di servizio Dataproc da utilizzare per eseguire la pipeline Cloud Data Fusion in Dataproc. L'account Compute Engine predefinito è preselezionato.

   Nota: devi concedere all'account di servizio i ruoli di Identity and Access Management appropriati per le tue esigenze. Per maggiori informazioni, consulta Concessione dell'autorizzazione utente all'account di servizio.

6. Espandi il menu Opzioni avanzate e fai clic su Abilita IP privato.

7. Nel campo Rete, scegli una rete in cui creare l'istanza.

8. Fai clic su Crea. Il processo di creazione dell'istanza richiede fino a 30 minuti.

   Nota: durante la creazione dell'istanza da parte di Cloud Data Fusion, viene visualizzata una ruota di avanzamento accanto al nome dell'istanza nella pagina Istanze. Al termine, l'icona diventa un segno di spunta verde e indica che è possibile iniziare a utilizzare l'istanza.

cURL

Per comodità, puoi esportare le seguenti variabili o puoi sostituire direttamente questi valori nei seguenti comandi:

export PROJECT=PROJECT_ID
export LOCATION=REGION
export DATA_FUSION_API_NAME=datafusion.googleapis.com

Per creare l'istanza, chiama il relativo metodo create():

curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://$DATA_FUSION_API_NAME/v1/projects/$PROJECT/locations/$LOCATION/instances?instance_id=INSTANCE_ID -X POST -d '{"description": "Private CDF instance created through REST.", "type": "ENTERPRISE", "privateInstance": true, "networkConfig": {"network": "NETWORK_NAME", "ipAllocation": "IP_RANGE"}}'

Sostituisci quanto segue:

• INSTANCE_ID: la stringa ID che dovrebbe ottenere la nuova istanza.
• NETWORK_NAME: il nome della rete VPC in cui vuoi creare l'istanza privata.
• IP_RANGE: l'intervallo IP che hai allocato. Per trovare l'intervallo IP nella console Google Cloud, vai a Dettagli rete VPC > Connessione privata ai servizi > Intervallo IP interno .

Rete VPC condivisa

Per creare l'istanza in una rete VPC condiviso, utilizza cURL, non la console Google Cloud.

cURL

Per comodità, puoi esportare le seguenti variabili. In alternativa, puoi sostituire direttamente questi valori nei seguenti comandi:

export PROJECT=PROJECT_ID
export LOCATION=REGION
export DATA_FUSION_API_NAME=datafusion.googleapis.com

Per creare l'istanza, chiama il relativo metodo create():

curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://$DATA_FUSION_API_NAME/v1/projects/$PROJECT/locations/$LOCATION/instances?instanceId=INSTANCE_ID -X POST -d '{"description": "Private CDF instance created through REST.", "type": "ENTERPRISE", "privateInstance": true, "networkConfig": {"network": "projects/SHARED_VPC_HOST_PROJECT_ID/global/networks/NETWORK_NAME", "ipAllocation": "IP_RANGE"}}'

Sostituisci quanto segue:

• INSTANCE_ID: la stringa ID che dovrebbe ottenere la nuova istanza.
• SHARED_VPC_HOST_PROJECT_ID: l'ID del progetto che ospita la VPC condiviso condivisa.
• NETWORK_NAME: il nome della rete VPC in cui vuoi creare l'istanza privata.
• IP_RANGE: l'intervallo IP allocato. Per trovare l'intervallo IP nella console Google Cloud, vai alla pagina Dettagli rete VPC > Connessione privata ai servizi > Intervallo IP interno.

Nota: non puoi utilizzare un intervallo IP allocato a un altro servizio Google Cloud. Deve essere lo stesso intervallo IP allocato nel passaggio precedente.

Nota: quando utilizzi una rete VPC condiviso, il nome del peering di rete VPC creato tra il progetto e il progetto tenant è una combinazione di nome di rete VPC e nome istanza. La lunghezza del nome del peering di rete VPC non deve superare i 63 caratteri.

Configurazione del peering di rete VPC

Punto chiave: l'istanza di Cloud Data Fusion viene creata nel proprio VPC e potresti dover configurare il peering di rete VPC per connetterti all'origine e al sink che utilizzi nella tua pipeline.

I servizi di Cloud Data Fusion che utilizzi nel tuo ambiente di progettazione (ad esempio Wrangler, Connection Manager e Convalida di schemi) avviano le connessioni di rete dal VPC del progetto tenant ai sistemi di origine. Cloud Data Fusion utilizza il peering di rete VPC per stabilire la connettività di rete al VPC o al VPC condiviso che contiene la tua istanza. Il peering di rete VPC consente a Cloud Data Fusion di accedere alle risorse nella tua rete tramite indirizzi IP interni utilizzando il tuo VPC e i relativi controlli. Per connetterti a una risorsa in un'altra rete, consulta i passaggi per i casi d'uso delle connessioni.

La seguente sezione descrive come creare una configurazione di peering tra la tua rete e la rete del progetto tenant di Cloud Data Fusion.

Recupera l'ID progetto tenant

Per creare una configurazione di peering, devi avere l'ID progetto tenant.

1. Vai alla pagina Istanze di Cloud Data Fusion.

   Vai a Istanze

2. Nella colonna Nome istanza, seleziona l'istanza.

3. Nella pagina Dettagli istanza, copia l'ID progetto tenant, che è necessario quando crei una connessione in peering nei passaggi seguenti.

Crea una connessione in peering

1. Vai alla pagina Peering di rete VPC.

   Vai al peering di rete VPC

2. Fai clic su Crea connessione > Continua.

3. Nella pagina Crea connessione in peering che si apre, procedi nel seguente modo:

   1. Inserisci un nome per la connessione in peering.
   2. In La tua rete VPC, seleziona la rete che contiene la tua istanza di Cloud Data Fusion.
   3. Per Rete VPC in peering, seleziona In un altro progetto.
   4. In ID progetto, inserisci l'ID progetto tenant che hai trovato in precedenza in questo tutorial.

   5. In Nome rete VPC, seleziona una rete o inserisci INSTANCE_REGION-INSTANCE_ID.

      Sostituisci quanto segue:

      • INSTANCE_REGION: la regione in cui hai creato l'istanza di Cloud Data Fusion.
      • INSTANCE_ID: l'ID della tua istanza di Cloud Data Fusion.
      Nota: quando viene creata l'istanza, nel progetto tenant viene creata una rete VPC denominata INSTANCE_REGION-INSTANCE_ID. Il deployment dell'istanza Cloud Data Fusion privata viene eseguito in quel VPC. Questa rete esiste già con la configurazione per il peering con il VPC del progetto del cliente.

   6. Seleziona la versione di Internet Protocol per la connessione in peering al fine di scambiare le route IPv4 e IPv6 tra la tua rete VPC e la rete VPC in peering. Per ulteriori informazioni, consulta la pagina relativa al peering di rete VPC.

   7. Seleziona Esporta route personalizzate in modo da poter esportare le route personalizzate dalla rete VPC alla rete VPC tenant.

   8. Scegli se consentire l'importazione o l'esportazione di route di subnet con IPv4 pubblico nella tua rete VPC.

   9. Fai clic su Crea.

   Il peering di rete VPC diventa attivo poco dopo la creazione.

Configura le autorizzazioni IAM

Rete VPC

Ignora questo passaggio e vai a Creare una regola firewall.

Rete VPC condivisa

Se crei l'istanza Cloud Data Fusion in una rete VPC condiviso, devi concedere il ruolo Utente di rete Compute ai seguenti account di servizio. Per concedere le autorizzazioni a tutte le subnet, concedi il ruolo al progetto host del VPC condiviso.

Per controllare ulteriormente l'accesso, concedi il ruolo a una subnet specifica e il ruolo Visualizzatore rete nel progetto host.

• Account di servizio Cloud Data Fusion: [e-mail]
• Account di servizio Dataproc: [e-mail]

PROJECT_NUMBER è il numero del progetto Google Cloud che contiene la tua istanza di Cloud Data Fusion.

Per ulteriori informazioni, consulta Concedere l'accesso agli account di servizio richiesti.

Crea una regola firewall

Crea una regola firewall sulla tua rete VPC che consenta le connessioni SSH in entrata dall'intervallo IP specificato al momento della creazione dell'istanza privata di Cloud Data Fusion.

Questo passaggio è obbligatorio per le versioni di Cloud Data Fusion precedenti alla 6.2.0. Consente la comunicazione tra Cloud Data Fusion e cluster Dataproc che eseguono pipeline.

Puoi creare la regola firewall utilizzando la console Google Cloud o utilizzando gcloud CLI.

Console

Vedi Creazione di regole firewall.

gcloud

Esegui questo comando:

gcloud compute firewall-rules create FIREWALL_NAME-allow-ssh --allow=tcp:22 --source-ranges=IP_RANGE --network=NETWORK_NAME --project=PROJECT_ID

Sostituisci quanto segue:

• FIREWALL_NAME: il nome della regola firewall da creare.
• IP_RANGE: l'intervallo IP che hai allocato.
• NETWORK_NAME: il nome della rete a cui è associata la regola firewall. È il nome della rete VPC in cui hai creato l'istanza privata.
• PROJECT_ID: l'ID del progetto che ospita la rete VPC.

Passaggi per i casi d'uso della connessione

Le seguenti sezioni descrivono i casi d'uso relativi alla connessione per le istanze private.

Abilita l'accesso privato Google

Per accedere alle risorse tramite indirizzi IP interni, Cloud Data Fusion deve creare i cluster Dataproc ed eseguire le pipeline di dati in una subnet con accesso privato Google. Devi abilitare l'accesso privato Google per la subnet che contiene i cluster Dataproc.

• Se è presente una sola subnet nella regione in cui vengono avviati i cluster Dataproc, il cluster viene avviato in quella subnet.

• Se in una regione sono presenti più subnet, devi configurare Cloud Data Fusion per selezionare la subnet con accesso privato Google per avviare i cluster Dataproc.

  Attenzione: se l'accesso privato Google non è abilitato su quella subnet, l'esecuzione della pipeline non va a buon fine. Per specificare la subnet dopo aver creato un'istanza, modifica il profilo di computing.

Per abilitare l'accesso privato Google per la subnet, consulta Configurazione dell'accesso privato Google.

(Facoltativo) Collegati ad altre origini

Dopo aver creato un'istanza privata in Cloud Data Fusion, puoi connetterti ad altre origini, come i seguenti casi d'uso:

• Database on-premise e sistemi in esecuzione in altre reti VPC
• Altri servizi Google Cloud in esecuzione nella propria rete in modalità privata, ad esempio Cloud SQL
• Fonti sulla rete internet pubblica

(Facoltativo) Abilita il peering DNS

Attiva il peering DNS nei seguenti casi:

• Quando Cloud Data Fusion si connette ai sistemi tramite nomi host, non tramite indirizzi IP
• Quando il sistema di destinazione viene eseguito dietro un bilanciatore del carico, come in alcuni deployment SAP

Passaggi successivi

• Scopri i concetti di sicurezza in Cloud Data Fusion.
• Scopri di più sulla connessione a risorse nelle reti esterne.
• Scopri altri concetti e funzionalità chiave di Cloud Data Fusion.
• Consulta i pricing di Cloud Data Fusion.