Questa pagina descrive come creare un'istanza Cloud Data Fusion con all'indirizzo IP interno. Crea l'istanza in una rete VPC o VPC condiviso.
Un'istanza Cloud Data Fusion privata offre i seguenti vantaggi:
Le connessioni all'istanza vengono stabilite tramite una rete VPC privata nel progetto Google Cloud. Il traffico sulla rete non passa attraverso la rete internet pubblica.
L'istanza può connettersi alle risorse on-premise, come i database relazionali, perché la rete on-premise si connette alla rete VPC privata di Google Cloud tramite Cloud VPN o Cloud Interconnect. Puoi accedere in modo sicuro alle tue risorse on-premise, ad esempio i database, tramite la rete privata senza aprire l'accesso a Google Cloud.
Obiettivi
- Configura la rete VPC o la rete VPC condiviso.
- Alloca un intervallo IP che verrà utilizzato per il deployment dell'istanza Cloud Data Fusion nel progetto tenant.
- Creare l'istanza privata di Cloud Data Fusion.
- Configura il peering di rete VPC tra il VPC contiene l'istanza Cloud Data Fusion e il VPC contiene il progetto tenant associato.
- Per le reti VPC condivise, configura le autorizzazioni di Identity and Access Management (IAM).
- Se l'istanza privata utilizza Cloud Data Fusion versione 6.2.0 o devi creare una regola firewall.
- Consenti a diversi servizi Google Cloud di comunicare internamente tra loro abilitando l'accesso privato Google sul nella subnet Dataproc.
Prima di iniziare
- Per scoprire di più sull'architettura di deployment di Cloud Data Fusion, consulta Networking.
configura la rete VPC
Se non l'hai ancora fatto, crea una rete VPC o una rete VPC condivisa.
Per configurare la tua rete VPC, devi allocare un indirizzo IP intervallo.
Alloca un intervallo IP
Rete VPC
Se non utilizzi una rete VPC condiviso, Cloud Data Fusion alloca un intervallo IP per impostazione predefinita quando crei in esecuzione in un'istanza Compute Engine.
Rete VPC condivisa
Per utilizzare una VPC condivisa, devi allocare un intervallo IP per l'istanza Cloud Data Fusion.
Per allocare un intervallo IP per la tua istanza Cloud Data Fusion, segui questi passaggi:
Nella console Google Cloud, vai alla pagina Reti VPC.
Nella colonna Nome, fai clic sulla rete VPC in cui creare un'istanza Cloud Data Fusion privata.
Viene visualizzata la pagina Dettagli rete VPC.
Fai clic su Connessione privata ai servizi. Se richiesto, abilita l'API Service Networking facendo clic su Abilita API.
Fai clic su Alloca intervallo IP.
Assegna un nome all'intervallo IP.
In Intervallo IP, fai clic su Automatico.
Specifica una dimensione del prefisso pari a
22.Fai clic su Assegna.
Crea un'istanza privata
Crea l'istanza Cloud Data Fusion privata in un VPC o una rete VPC condiviso.
Rete VPC
Per creare l'istanza in una rete VPC, utilizza la console Google Cloud o cURL.
Se utilizzi la console Google Cloud per creare l'istanza privata,
Cloud Data Fusion alloca l'intervallo di indirizzi IP /22 per impostazione predefinita. Per scegliere un intervallo IP diverso, devi utilizzare il comando cURL.
Console
Vai alla pagina Crea istanza Data Fusion.
Inserisci un nome e una descrizione per l'istanza.
Seleziona la Regione in cui creare l'istanza.
Seleziona una versione e una release di Cloud Data Fusion.
Specifica Account di servizio Dataproc da utilizzare per eseguire la pipeline di Cloud Data Fusion Dataproc. L'account Compute Engine predefinito è preselezionato.
Espandi il menu Opzioni avanzate e fai clic su Abilita IP privato.
Nel campo Rete, scegli una rete in cui creare l'istanza.
Fai clic su Crea. Il processo di creazione dell'istanza richiede fino a 30 minuti.
cURL
Per praticità, puoi esportare le seguenti variabili oppure sostituisci direttamente questi valori con i seguenti comandi:
export PROJECT=PROJECT_ID
export LOCATION=REGION
export DATA_FUSION_API_NAME=datafusion.googleapis.com
Per creare l'istanza, chiama la relativa
create()
:
curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://$DATA_FUSION_API_NAME/v1/projects/$PROJECT/locations/$LOCATION/instances?instance_id=INSTANCE_ID -X POST -d '{"description": "Private CDF instance created through REST.", "type": "ENTERPRISE", "privateInstance": true, "networkConfig": {"network": "NETWORK_NAME", "ipAllocation": "IP_RANGE"}}'
Sostituisci quanto segue:
INSTANCE_ID: la stringa ID che la nuova istanza dovrebbe ricevere.NETWORK_NAME: il nome della rete VPC in cui vuoi creare l'istanza privata.IP_RANGE: l'IP che hai allocato. Per trovare l'intervallo IP nel Console Google Cloud, vai a Dettagli rete VPC > Connessione privata ai servizi > Intervallo IP interno .
Rete VPC condivisa
Per creare la tua istanza in una rete VPC condiviso, utilizza cURL, non nella console Google Cloud.
cURL
Per praticità, puoi esportare le seguenti variabili. In alternativa, puoi sostituire direttamente questi valori nel seguente :
export PROJECT=PROJECT_ID export LOCATION=REGION export DATA_FUSION_API_NAME=datafusion.googleapis.com
Per creare l'istanza, chiama il relativo metodo create():
curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://$DATA_FUSION_API_NAME/v1/projects/$PROJECT/locations/$LOCATION/instances?instanceId=INSTANCE_ID -X POST -d '{"description": "Private CDF instance created through REST.", "type": "ENTERPRISE", "privateInstance": true, "networkConfig": {"network": "projects/SHARED_VPC_HOST_PROJECT_ID/global/networks/NETWORK_NAME", "ipAllocation": "IP_RANGE"}}'
Sostituisci quanto segue:
INSTANCE_ID: la stringa ID che deve essere assegnata alla nuova istanza.SHARED_VPC_HOST_PROJECT_ID: l'ID del progetto che ospita la rete VPC condivisa.NETWORK_NAME: il nome della rete VPC in cui vuoi creare l'istanza privata.IP_RANGE: l'intervallo IP che hai allocato. Per trovare l'intervallo IP nella console Google Cloud, vai alla pagina Dettagli rete VPC > Connessione a un servizio privato > Intervallo IP interno.
Configurazione del peering di rete VPC
I servizi Cloud Data Fusion che utilizzi nel tuo ambiente di progettazione (ad esempio Wrangler, Connection Manager e Schema Validation) avviano connessioni di rete dal VPC del progetto tenant ai sistemi di origine. Cloud Data Fusion utilizza il peering di rete VPC per stabilire la connettività di rete con il VPC o il VPC condiviso che contiene l'istanza. Il peering di rete VPC consente a Cloud Data Fusion di accedere in rete tramite indirizzi IP interni, utilizzando le tue risorse e i relativi controlli. Per connetterti a una risorsa in un'altra rete, consulta i passaggi per i casi d'uso di connessione.
La sezione seguente descrive come creare una configurazione di peering tra la tua rete e la rete del progetto tenant Cloud Data Fusion.
Recupera l'ID progetto del tenant
Per creare una configurazione di peering, è necessario progetto tenant.
Vai alla pagina Istanze di Cloud Data Fusion.
Nella colonna Nome istanza, seleziona l'istanza.
Nella pagina Dettagli istanza, copia l'ID progetto tenant, obbligatorio quando crei una connessione di peering nei passaggi successivi.
Crea una connessione in peering
Vai alla pagina Peering di rete VPC.
Fai clic su Crea connessione > Continua.
Nella pagina Crea connessione in peering che si apre, segui questi passaggi:
- Inserisci un Nome per la connessione in peering.
- In La tua rete VPC, seleziona la rete che contiene dell'istanza di Cloud Data Fusion.
- Per Rete VPC in peering, seleziona In un altro progetto.
- In ID progetto, inserisci ID progetto tenant che hai trovato in precedenza in questo tutorial.
In Nome rete VPC, seleziona una rete o inserisciINSTANCE_REGION-INSTANCE_ID.
Sostituisci quanto segue:
- INSTANCE_REGION: la regione in cui hai creato dell'istanza di Cloud Data Fusion.
- INSTANCE_ID: l'ID della tua istanza Cloud Data Fusion.
Seleziona la versione del protocollo Internet per la connessione in peering Scambia route IPv4 e IPv6 tra la rete VPC e la rete VPC in peering. Per ulteriori informazioni, consulta Peering di rete VPC.
Seleziona Esporta route personalizzate in modo che le route personalizzate possano essere esportate dalla rete VPC al tenant.
Scegli se consentire l'importazione o l'esportazione di route di subnet con IPv4 pubblico nella tua rete VPC.
Fai clic su Crea.
Il peering di rete VPC diventa attivo poco dopo la creazione.
Configura le autorizzazioni IAM
Rete VPC
Salta questo passaggio e vai a Creare una regola firewall.
Rete VPC condivisa
Se crei la tua istanza Cloud Data Fusion in un VPC condiviso devi concedere il ruolo Utente di rete Compute. ai seguenti account di servizio. Per concedere le autorizzazioni a tutte le subnet, assegna il ruolo al progetto host VPC condiviso.
Per controllare ulteriormente l'accesso, concedi il ruolo a una subnet specifica e il ruolo Visualizzatore rete per del progetto host.
- Account di servizio Cloud Data Fusion:
service-PROJECT_NUMBER@gcp-sa-datafusion.iam.gserviceaccount.com - Service account Dataproc:
service-PROJECT_NUMBER@dataproc-accounts.iam.gserviceaccount.com
PROJECT_NUMBER è il numero del progetto Google Cloud che contiene l'istanza Cloud Data Fusion.
Per saperne di più, consulta la sezione Concedere l'accesso ai service account richiesti.
Crea una regola firewall
Crea una regola firewall sulla rete VPC che consenta le connessioni SSH in entrata dall'intervallo IP specificato quando hai creato l'istanza Cloud Data Fusion privata.
Questo passaggio è obbligatorio per le versioni di Cloud Data Fusion precedenti alla 6.2.0. Consente la comunicazione tra i cluster Cloud Data Fusion e Dataproc che eseguono le pipeline.
Puoi creare la regola del firewall utilizzando la console Google Cloud o l'interfaccia a riga di comando gcloud.
Console
Consulta la sezione Creare regole firewall.
gcloud
Esegui questo comando:
gcloud compute firewall-rules create FIREWALL_NAME-allow-ssh --allow=tcp:22 --source-ranges=IP_RANGE --network=NETWORK_NAME --project=PROJECT_ID
Sostituisci quanto segue:
FIREWALL_NAME: il nome della regola firewall da creare.IP_RANGE: l'intervallo IP che allocati.NETWORK_NAME: il nome della rete a cui è collegata la regola firewall. Si tratta del nome della rete VPC in cui hai creato l'istanza privata.PROJECT_ID: l'ID del progetto ospitando la rete VPC.
Procedura per i casi d'uso di connessione
Le sezioni seguenti descrivono i casi d'uso relativi alla connessione per le istanze private.
Abilita l'accesso privato Google
Per accedere alle risorse tramite indirizzi IP interni, Cloud Data Fusion deve creare i cluster Dataproc ed eseguire le pipeline di dati in una subnet con accesso privato Google. Devi abilitare l'accesso privato Google per la subnet che contiene di cluster Dataproc.
- Se è presente una sola subnet nella regione in cui è Dataproc cluster vengono avviati, quindi il cluster viene avviato in quella subnet.
Se in una regione sono presenti più sottoreti, devi configurare Cloud Data Fusion in modo da selezionare la sottorete con accesso privato a Google per l'avvio dei cluster Dataproc.
Per attivare l'accesso privato Google per la subnet, consulta la configurazione dell'accesso privato Google.
(Facoltativo) Connettiti ad altre origini
Dopo aver creato un'istanza privata in Cloud Data Fusion, puoi collegarti ad altre origini, ad esempio i seguenti casi d'uso:
- Database e sistemi on-premise in esecuzione su altre reti VPC
- Altri servizi Google Cloud in esecuzione nella propria rete in modalità privata, ad esempio Cloud SQL
- Fonti su internet pubblico
(Facoltativo) Attiva il peering DNS
Attiva il peering DNS nei seguenti casi:
- Quando Cloud Data Fusion si connette ai sistemi tramite nomi host e non indirizzi IP
- Quando il sistema di destinazione viene implementato dietro un bilanciatore del carico, come accade in alcuni deployment SAP
Passaggi successivi
- Scopri di più sui concetti di sicurezza in Cloud Data Fusion.
- Scopri di più su come connetterti alle risorse in reti esterne.
- Scopri altri concetti e funzionalità chiave di Cloud Data Fusion.
- Consulta i prezzi di Cloud Data Fusion.