Creazione di un'istanza privata

Questa pagina descrive come creare un'istanza Cloud Data Fusion con un indirizzo IP privato. Puoi creare l'istanza Cloud Data Fusion privata in una rete VPC o VPC condivisa.

La creazione di un'istanza IP Cloud Data Fusion privata offre i seguenti vantaggi:

  • Le connessioni all'istanza Cloud Data Fusion vengono stabilite su una rete VPC privata nel tuo progetto Google Cloud. Il traffico su questa rete non passa attraverso la rete Internet pubblica.

  • L'istanza può connettersi alle risorse on-premise, come database relazionali, connettendo la rete on-premise alla rete VPC privata di Google Cloud tramite Cloud VPN o Cloud Interconnect. Puoi accedere in sicurezza alle risorse on-premise, come i database, sulla rete privata senza dover accedere a Google Cloud.

Configurare la rete VPC

Se non lo hai già fatto, crea una rete VPC o una rete VPC condivisa.

Questa sezione mostra come abilitare l'accesso privato Google e allocare un intervallo IP, entrambi obbligatori per la configurazione della rete VPC.

Abilita l'accesso privato Google

L'area geografica in cui crei la tua istanza Cloud Data Fusion privata deve avere una subnet con l'accesso privato Google abilitato.

Per abilitare l'accesso privato Google per la subnet, segui questi passaggi:

  1. Vai alla pagina Reti VPC in Google Cloud Console.

    Apri la pagina Reti VPC

  2. Nella colonna Area geografica, individua l'area geografica in cui vuoi creare la tua istanza Cloud Data Fusion privata. Fai clic sulla subnet per quell'area geografica.

  3. Fai clic su Modifica.

  4. Nella sezione Accesso privato Google, seleziona On.

  5. Fai clic su Salva.

    immagine

Alloca un intervallo IP

Questi passaggi mostrano come allocare un intervallo IP per la tua istanza Cloud Data Fusion. Tieni presente che la pipeline viene eseguita su un cluster Dataproc, che utilizza un intervallo IP diverso da quello assegnato alla tua istanza Cloud Data Fusion.

Segui questi passaggi solo se utilizzi una rete VPC condivisa. Se non utilizzi una rete VPC condivisa, Cloud Data Fusion alloca automaticamente un intervallo IP quando crei l'istanza. Se non utilizzi una rete VPC condivisa, salta questa sezione e crea un'istanza privata.

Per allocare un intervallo IP per la tua istanza Cloud Data Fusion, segui questi passaggi:

  1. Vai alla pagina Reti VPC in Google Cloud Console.

    Vai alle reti VPC

  2. Sotto Nome, fai clic sulla rete VPC in cui vuoi creare un'istanza privata di Cloud Data Fusion.

  3. Nella pagina Dettagli della rete VPC, fai clic sulla scheda Connessione a servizio privato. Se richiesto, abilita l'API Service Networking facendo clic su Abilita API.

    immagine

  4. Fai clic su Assegna intervallo IP.

    1. Specifica un nome per l'intervallo IP.

    2. In Intervallo IP, seleziona Automatico.

    3. Specifica una dimensione del prefisso pari a 22.

    4. Fai clic su Assegna.

      immagine

Creare un'istanza privata

Crea un'istanza Cloud Data Fusion privata in una rete VPC o in una rete VPC condivisa. Per creare l'istanza in una rete VPC, utilizza Google Cloud Console o cURL. Per creare l'istanza in una rete VPC condivisa, utilizza cURL.

Crea un'istanza privata in una rete VPC

Se utilizzi Google Cloud Console per creare la tua istanza privata, Cloud Data Fusion alloca automaticamente l'intervallo di indirizzi IP /22. Se preferisci fornire un'allocazione degli indirizzi IP esplicita a tua scelta, utilizza il comando cURL.

console

Se l'API è abilitata, la sezione Cloud Data Fusion in Google Cloud Console mostra una pagina Istanze in cui puoi gestire le istanze Cloud Data Fusion. Quando non esistono istanze, la pagina contiene un link per creare un'istanza, insieme ad alcuni link utili alla documentazione e agli esempi.

  1. Vai alla pagina Crea istanza in Google Cloud Console.

    Vai a Crea istanza

  2. Inserisci un Nome istanza.

  3. Inserisci una Descrizione per l'istanza.

  4. Seleziona l'area geografica in cui creare l'istanza, ovvero quella per la quale hai attivato l'accesso privato Google

  5. Specifica la versione di Cloud Data Fusion che preferisci.

  6. Seleziona l'edizione di Cloud Data Fusion che preferisci.

  7. In Cloud Data Fusion versione 6.2.3 e successive, specifica l'account di servizio Dataproc da utilizzare per eseguire la pipeline di Cloud Data Fusion in Dataproc. La UI preseleziona l'account Compute Engine predefinito. Indipendentemente dalla versione, assicurati che l'account di servizio disponga dei ruoli di gestione di identità e accessi appropriati per le tue esigenze. Per ulteriori informazioni, consulta Concedere l'autorizzazione dell'utente all'account di servizio.

  8. Fai clic su Advanced options (Opzioni avanzate). In IP privato, seleziona Abilita IP privato.

  9. In Networking associato, seleziona una rete in cui creare la tua istanza privata.

  10. Fai clic su Crea. Il completamento della procedura di creazione dell'istanza richiede fino a 30 minuti.

URL

Per comodità, puoi esportare le seguenti variabili o sostituire direttamente questi valori nei comandi seguenti.

export PROJECT=PROJECT_ID
export LOCATION=REGION
export DATA_FUSION_API_NAME=datafusion.googleapis.com

Per creare un'istanza di Cloud Data Fusion con l'API REST, invia la seguente richiesta API create.

curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://$DATA_FUSION_API_NAME/v1/projects/$PROJECT/locations/$LOCATION/instances?instance_id=instance_id -X POST -d '{"description": "Private CDF instance created through REST.", "type": "ENTERPRISE", "privateInstance": true, "networkConfig": {"network": "network", "ipAllocation": "ip_range"}}'
Parametro Descrizione
instance_id Fornisci un ID per l'istanza.
network Il nome della rete VPC in cui vuoi creare l'istanza privata.
ip_range L'intervallo IP allocato. Per trovare l'intervallo IP, vai alla pagina dei dettagli della rete VPC in Google Cloud Console, nella scheda Connessione privata ai servizi, nella sezione Intervallo IP interno.

Crea un'istanza privata in una rete VPC condivisa

Per comodità, puoi esportare le seguenti variabili. In alternativa, puoi sostituire direttamente questi valori nei comandi riportati di seguito.

export PROJECT=PROJECT_ID
export LOCATION=REGION
export DATA_FUSION_API_NAME=datafusion.googleapis.com

Per creare un'istanza di Cloud Data Fusion con l'API REST, invia la seguente richiesta API create.

  curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://$DATA_FUSION_API_NAME/v1/projects/$PROJECT/locations/$LOCATION/instances?instanceId=instance_id -X POST -d '{"description": "Private CDF instance created through REST.", "type": "ENTERPRISE", "privateInstance": true, "networkConfig": {"network": "projects/shared_vpc_host_project_id/global/networks/network", "ipAllocation": "ip_range"}}'
  

Parametro Descrizione
instance_id Fornisci un ID per l'istanza.
shared_vpc_host_project_id L'ID del progetto che ospita la rete VPC condivisa .
network Il nome della rete VPC in cui vuoi creare l'istanza privata.
ip_range L'intervallo IP allocato. Puoi trovare il tuo intervallo IP nella pagina dei dettagli della rete VPC in Google Cloud Console, nella scheda Connessione privata ai servizi, in Intervallo IP interno. Nota: non puoi utilizzare un intervallo IP allocato per un altro servizio Google Cloud esistente. Deve essere lo stesso intervallo IP assegnato nel passaggio precedente.

Configurazione del peering di rete VPC

Cloud Data Fusion utilizza il peering di rete VPC per stabilire la connettività di rete alla rete VPC. In questo modo, Cloud Data Fusion può accedere alle risorse sulla tua rete tramite indirizzi IP privati.

Questa sezione mostra come creare una configurazione di peering tra la tua rete e la rete del progetto tenant di Cloud Data Fusion.

Connessione a un'origine esterna

Per connetterti a una risorsa in una rete esterna (una rete on-premise o un'altra rete VPC), la rete esterna e l'istanza Cloud Data Fusion devono essere connesse tramite la stessa rete VPC.

Di seguito è descritto come connettere una rete esterna alla rete Cloud Data Fusion VPC utilizzando tunnel Cloud VPN con routing BGP o collegamenti di Cloud Interconnect:

  • Assicurati che la tua rete VPC sia connessa alla rete esterna tramite un tunnel Cloud VPN o un collegamento VLAN per Dedicated Interconnect o Partner Interconnect.
  • Assicurati che le sessioni BGP sui router Cloud che gestiscono i tunnel Cloud VPN o i collegamenti Cloud Interconnect (VLAN) abbiano ricevuto prefissi specifici (destinazioni) dalla rete esterna.

    Non è possibile importare le route predefinite (destinazione 0.0.0.0/0) nella rete VPC di Cloud Data Fusion perché questa ha una propria route predefinita locale. Le route locali per una destinazione vengono sempre utilizzate, anche se il peering Cloud Data Fusion è configurato per importare le route personalizzate dalla rete VPC.

  • Identifica le connessioni di peering prodotte dalla connessione dei servizi privati. A seconda del servizio, la connessione privata ai servizi potrebbe creare una o più delle seguenti connessioni in peering, ma non necessariamente tutte:
    • datafusion-googleapis-com
    • servicenetworking-googleapis-com
  • Aggiorna tutte le connessioni in peering per abilitare l'esportazione delle route personalizzate.
  • Identifica l'intervallo allocato utilizzato dalla connessione per i servizi privati.
  • Crea un annuncio di route personalizzata per un router Cloud per l'intervallo allocato sui router Cloud che gestiscono le sessioni BGP per i tunnel Cloud VPN o i collegamenti di Cloud Interconnect (VLAN).

Trovare l'ID progetto tenant

Per creare una configurazione di peering, devi avere l'ID del progetto tenant.

  1. Vai alla pagina Istanze di Cloud Data Fusion in Google Cloud Console.

    Vai a Istanze

  2. In Nome istanza, seleziona la tua istanza.

  3. Nella pagina Dettagli istanza, copia il valore dell'account di servizio dell'istanza. L'ID progetto tenant è la parte compresa tra il simbolo "at" (@) e il periodo successivo (.). Ad esempio, se il valore dell'account di servizio è
    cloud-datafusion-management-sa@r8170c9b5e7699803-tp.iam.gserviceaccount.com
    , l'ID progetto tenant è r8170c9b5e7699803-tp.

    immagine

Crea una connessione in peering

  1. Vai alla pagina Peering di rete VPC in Google Cloud Console.

    Vai al peering di rete VPC

  2. Fai clic su Crea connessione in peering.

  3. Fai clic su Continua.

  4. Inserisci un nome per la connessione in peering.

  5. In La tua rete VPC, seleziona la rete in cui hai creato l'istanza di Cloud Data Fusion.

  6. In Rete VPC in peering, seleziona In un altro progetto.

  7. In ID progetto, inserisci l'ID progetto tenant che hai trovato in questo tutorial.

  8. In Nome rete VPC, inserisci instance_region-instance_id.

    • instance_region è l'area geografica in cui hai creato la tua istanza di Cloud Data Fusion.
    • instance_id è l'ID della tua istanza Cloud Data Fusion.
  9. Fai clic su Exchange route personalizzate. Seleziona Esporta percorsi personalizzati. Ciò consente di scambiare qualsiasi route personalizzato definito nella rete VPC con la rete VPC tenant.

  10. Fai clic su Crea.

    immagine

Configurazione delle autorizzazioni IAM

Segui questi passaggi solo se utilizzi una rete VPC condivisa. Se non utilizzi una rete VPC condivisa, salta questa sezione e vai a Crea una regola firewall.

Se crei la tua istanza di Cloud Data Fusion in una rete VPC condivisa, devi concedere il ruolo Utente rete Compute ai seguenti account di servizio. Per concedere le autorizzazioni a tutte le subnet, concedi il ruolo al progetto host del VPC condiviso. Per controllare ulteriormente l'accesso, concedi invece il ruolo a una subnet specifica insieme al ruolo Visualizzatore di rete nel progetto host.

  • Account di servizio Cloud Data Fusion: service-project-number@gcp-sa-datafusion.iam.gserviceaccount.com
  • Account di servizio Dataproc: service-project-number@dataproc-accounts.iam.gserviceaccount.com

project-number è il numero di progetto di Google Cloud Console a cui appartiene la tua istanza Cloud Data Fusion.

Segui questi passaggi per concedere l'accesso agli account di servizio richiesti.

Crea una regola firewall

Crea una regola firewall sulla tua rete VPC che consenta le connessioni SSH in entrata dall'intervallo IP specificato al momento della creazione dell'istanza Cloud Data Fusion privata.

Puoi creare la regola firewall utilizzando Google Cloud Console o utilizzando gcloud. Per utilizzare gcloud, esegui questo comando:

  gcloud compute firewall-rules create name-allow-ssh --allow=tcp:22 --source-ranges=ip_range --network=network --project=project
  

Parametro Descrizione
name Nome della regola firewall da creare.
ip_range L'intervallo IP allocato. Puoi trovare il tuo intervallo IP nella pagina dei dettagli della rete VPC in Google Cloud Console, nella scheda Connessione privata ai servizi, in Intervallo IP interno.
network La rete a cui è collegata questa regola. Il nome della rete VPC in cui hai creato l'istanza privata.
project L'ID del progetto che ospita la rete VPC.


Ora puoi utilizzare la tua istanza privata di Cloud Data Fusion.

Passaggi successivi