Questa pagina descrive come creare un'istanza Cloud Data Fusion con un indirizzo IP interno. Puoi creare l'istanza in una rete VPC o in una rete VPC condiviso.
Un'istanza Cloud Data Fusion privata offre i seguenti vantaggi:
Le connessioni all'istanza vengono stabilite su una rete VPC privata nel progetto Google Cloud. Il traffico sulla rete non passa attraverso la rete internet pubblica.
L'istanza può connettersi alle risorse on-premise, ad esempio i database relazionali, perché la rete on-premise si connette alla rete VPC privata di Google Cloud tramite Cloud VPN o Cloud Interconnect. Puoi accedere in modo sicuro alle risorse on-premise, ad esempio i database, sulla rete privata senza aprire l'accesso a Google Cloud.
Obiettivi
- Configura la rete VPC o la rete VPC condiviso.
- Alloca un intervallo IP che verrà utilizzato per eseguire il deployment dell'istanza Cloud Data Fusion nel progetto tenant.
- Creare l'istanza privata di Cloud Data Fusion.
- Configura il peering di rete VPC tra il VPC che contiene l'istanza Cloud Data Fusion e il VPC che contiene il progetto tenant associato.
- Per le reti VPC condivise, configura le autorizzazioni di Identity and Access Management (IAM).
- Se l'istanza privata utilizza Cloud Data Fusion 6.2.0 o versioni precedenti, crea una regola firewall.
- Consenti ai diversi servizi Google Cloud di comunicare internamente tra loro abilitando l'accesso privato Google nella subnet Dataproc.
Prima di iniziare
- Per saperne di più sull'architettura di deployment di Cloud Data Fusion, consulta Networking.
configura la rete VPC
Se non lo hai già fatto, crea una rete VPC o una rete VPC condivisa.
Per configurare la tua rete VPC, devi allocare un intervallo di indirizzi IP.
Alloca un intervallo IP
Rete VPC
Se non utilizzi una rete VPC condiviso, Cloud Data Fusion alloca un intervallo IP per impostazione predefinita quando crei un'istanza.
Rete VPC condivisa
Crea un'istanza privata
Creare l'istanza privata Cloud Data Fusion in una rete VPC o in una rete VPC condiviso.
Rete VPC
Per creare l'istanza in una rete VPC, utilizza la console Google Cloud o cURL.
Se utilizzi la console Google Cloud per creare la tua istanza privata,
Cloud Data Fusion alloca l'intervallo di indirizzi IP /22 per impostazione predefinita. Per
scegliere un intervallo IP diverso, devi utilizzare il comando cURL.
Console
Vai alla pagina Crea istanza Data Fusion.
Inserisci un nome e una descrizione per l'istanza.
Seleziona la regione in cui creare l'istanza.
Seleziona una versione e una edizione di Cloud Data Fusion.
Specifica l'account di servizio Dataproc da utilizzare per eseguire la pipeline di Cloud Data Fusion in Dataproc. L'account Compute Engine predefinito è preselezionato.
Espandi il menu Opzioni avanzate e fai clic su Abilita IP privato.
Nel campo Rete, scegli una rete in cui creare l'istanza.
Fai clic su Crea. Il completamento del processo di creazione dell'istanza richiede fino a 30 minuti.
cURL
Per comodità, puoi esportare le seguenti variabili o sostituire direttamente questi valori nei seguenti comandi:
export PROJECT=PROJECT_ID
export LOCATION=REGION
export DATA_FUSION_API_NAME=datafusion.googleapis.com
Per creare l'istanza, chiama il relativo metodo create():
curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://$DATA_FUSION_API_NAME/v1/projects/$PROJECT/locations/$LOCATION/instances?instance_id=INSTANCE_ID -X POST -d '{"description": "Private CDF instance created through REST.", "type": "ENTERPRISE", "privateInstance": true, "networkConfig": {"network": "NETWORK_NAME", "ipAllocation": "IP_RANGE"}}'
Sostituisci quanto segue:
INSTANCE_ID: la stringa ID che la nuova istanza dovrebbe ricevere.NETWORK_NAME: il nome della rete VPC in cui vuoi creare l'istanza privata.IP_RANGE: l'intervallo IP che hai allocato. Per trovare l'intervallo IP nella console Google Cloud, vai a Dettagli rete VPC > Connessione ai servizi privata > Intervallo IP interno .
Rete VPC condivisa
Per creare la tua istanza in una rete VPC condiviso, utilizza cURL, non la console Google Cloud.
cURL
Per praticità, puoi esportare le seguenti variabili. In alternativa, puoi sostituire direttamente questi valori nei seguenti comandi:
export PROJECT=PROJECT_ID export LOCATION=REGION export DATA_FUSION_API_NAME=datafusion.googleapis.com
Per creare l'istanza, chiama il relativo metodo create():
curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://$DATA_FUSION_API_NAME/v1/projects/$PROJECT/locations/$LOCATION/instances?instanceId=INSTANCE_ID -X POST -d '{"description": "Private CDF instance created through REST.", "type": "ENTERPRISE", "privateInstance": true, "networkConfig": {"network": "projects/SHARED_VPC_HOST_PROJECT_ID/global/networks/NETWORK_NAME", "ipAllocation": "IP_RANGE"}}'
Sostituisci quanto segue:
INSTANCE_ID: la stringa ID che la nuova istanza dovrebbe ricevere.SHARED_VPC_HOST_PROJECT_ID: l'ID del progetto che ospita la VPC condiviso condivisa.NETWORK_NAME: il nome della rete VPC in cui vuoi creare l'istanza privata.IP_RANGE: l'intervallo IP che hai allocato. Per trovare l'intervallo IP nella console Google Cloud, vai alla pagina Dettagli rete VPC > Connessione ai servizi privati > Intervallo IP interno.
Configurazione del peering di rete VPC
I servizi Cloud Data Fusion che utilizzi nell'ambiente di progettazione (ad esempio Wrangler, Connection Manager e Convalida degli schemi) avviano connessioni di rete dal VPC del progetto tenant ai sistemi di origine. Cloud Data Fusion utilizza il peering di rete VPC per stabilire la connettività di rete al VPC o al VPC condiviso che contiene l'istanza. Il peering di rete VPC consente a Cloud Data Fusion di accedere alle risorse della tua rete attraverso indirizzi IP interni, utilizzando il tuo VPC e i relativi controlli. Per connetterti a una risorsa in un'altra rete, consulta i passaggi per i casi d'uso delle connessioni.
La sezione seguente descrive come creare una configurazione di peering tra la tua rete e la rete del progetto tenant di Cloud Data Fusion.
Recupera l'ID progetto tenant
Per creare una configurazione di peering, devi disporre dell'ID del progetto tenant.
Vai alla pagina Istanze di Cloud Data Fusion.
Nella colonna Nome istanza, seleziona l'istanza.
Nella pagina Dettagli istanza, copia l'ID progetto tenant, che viene richiesto quando crei una connessione in peering nei passaggi seguenti.
Crea una connessione in peering
Vai alla pagina Peering di rete VPC.
Fai clic su Crea connessione > Continua.
Nella pagina Crea connessione in peering che si apre, segui questi passaggi:
- Inserisci un Nome per la connessione in peering.
- In La tua rete VPC, seleziona la rete che contiene l'istanza Cloud Data Fusion.
- Per Rete VPC in peering, seleziona In un altro progetto.
- In ID progetto, inserisci l'ID progetto tenant che hai trovato in precedenza in questo tutorial.
Per Nome rete VPC, seleziona una rete o inserisci INSTANCE_REGION-INSTANCE_ID.
Sostituisci quanto segue:
- INSTANCE_REGION: la regione in cui hai creato la tua istanza Cloud Data Fusion.
- INSTANCE_ID: l'ID della tua istanza Cloud Data Fusion.
Seleziona la versione del protocollo internet per la connessione in peering per scambiare le route IPv4 e IPv6 tra la tua rete VPC e la rete VPC in peering. Per ulteriori informazioni, consulta Peering di rete VPC.
Seleziona Esporta route personalizzate per consentire l'esportazione di route personalizzate dalla tua rete VPC alla rete VPC del tenant.
Scegli se consentire l'importazione o l'esportazione di route di subnet con IPv4 pubblico nella tua rete VPC.
Fai clic su Crea.
Il peering di rete VPC diventa attivo poco dopo la creazione.
Configura le autorizzazioni IAM
Rete VPC
Ignora questo passaggio e vai a Creare una regola firewall.
Rete VPC condivisa
Se crei la tua istanza Cloud Data Fusion in una rete VPC condiviso, devi concedere il ruolo Utente di rete Compute ai seguenti account di servizio. Per concedere le autorizzazioni a tutte le subnet, assegna il ruolo al progetto host del VPC condiviso.
Per controllare ulteriormente l'accesso, concedi invece il ruolo a una subnet specifica e il ruolo Visualizzatore di rete nel progetto host.
- Account di servizio Cloud Data Fusion:
service-PROJECT_NUMBER@gcp-sa-datafusion.iam.gserviceaccount.com - Account di servizio Dataproc:
service-PROJECT_NUMBER@dataproc-accounts.iam.gserviceaccount.com
PROJECT_NUMBER è il numero del progetto Google Cloud che contiene la tua istanza Cloud Data Fusion.
Per ulteriori informazioni, consulta la sezione Concessione dell'accesso agli account di servizio richiesti.
Crea una regola firewall
Crea una regola firewall sulla rete VPC che consenta le connessioni SSH in arrivo dall'intervallo IP specificato al momento della creazione dell'istanza Cloud Data Fusion privata.
Questo passaggio è obbligatorio per le versioni di Cloud Data Fusion precedenti alla 6.2.0. Consente la comunicazione tra i cluster Cloud Data Fusion e Dataproc che eseguono pipeline.
Puoi creare la regola firewall utilizzando la console Google Cloud o utilizzando gcloud CLI.
Console
Consulta la sezione Creazione di regole firewall.
gcloud
Esegui questo comando:
gcloud compute firewall-rules create FIREWALL_NAME-allow-ssh --allow=tcp:22 --source-ranges=IP_RANGE --network=NETWORK_NAME --project=PROJECT_ID
Sostituisci quanto segue:
FIREWALL_NAME: il nome della regola firewall da creare.IP_RANGE: l'intervallo IP allocato.NETWORK_NAME: il nome della rete a cui è collegata la regola firewall. È il nome della rete VPC in cui hai creato l'istanza privata.PROJECT_ID: l'ID del progetto che ospita la rete VPC.
Passaggi per i casi d'uso relativi alla connessione
Le seguenti sezioni descrivono i casi d'uso relativi alla connessione per le istanze private.
Abilita l'accesso privato Google
Per accedere alle risorse tramite indirizzi IP interni, Cloud Data Fusion deve creare i cluster Dataproc ed eseguire le pipeline di dati in una subnet con accesso privato Google. Devi abilitare l'accesso privato Google per la subnet che contiene i cluster Dataproc.
- Se è presente una sola subnet nella regione in cui vengono avviati i cluster Dataproc, il cluster viene avviato in quella subnet.
Se in una regione sono presenti più subnet, devi configurare Cloud Data Fusion per selezionare la subnet con accesso privato Google per avviare i cluster Dataproc.
Per abilitare l'accesso privato Google per la subnet, consulta la configurazione dell'accesso privato Google.
(Facoltativo) Connettiti ad altre fonti
Dopo aver creato un'istanza privata in Cloud Data Fusion, puoi connetterti ad altre origini, come i seguenti casi d'uso:
- Database e sistemi on-premise in esecuzione su altre reti VPC
- Altri servizi Google Cloud in esecuzione nella propria rete in modalità privata, come Cloud SQL
- Fonti sulla rete internet pubblica
(Facoltativo) Abilita il peering DNS
Attiva il peering DNS nei casi seguenti:
- Quando Cloud Data Fusion si connette ai sistemi tramite nomi host e non indirizzi IP
- Quando il sistema di destinazione viene distribuito dietro un bilanciatore del carico, come in alcuni deployment SAP
Passaggi successivi
- Scopri di più sui concetti di sicurezza in Cloud Data Fusion.
- Scopri di più sulla connessione alle risorse in reti esterne.
- Scopri altri concetti e funzionalità chiave di Cloud Data Fusion.
- Consulta i pricing di Cloud Data Fusion.