Connettiti a un'origine pubblica da un'istanza privata

Questa pagina descrive come connetterti ad applicazioni SaaS (software-as-a-service) come Salesforce e servizi cloud di terze parti come Amazon S3 da un'istanza privata di Cloud Data Fusion quando sviluppi una pipeline.

In questa guida vengono utilizzati i termini esodo e controllo dell'esodo:

• Per traffico in uscita si intende il traffico di rete che esce Google Cloud tramite la rete internet pubblica. In genere, l'egress avviene quando crei una pipeline che legge da o scrive in un servizio SaaS come Salesforce o in un servizio cloud pubblico come Amazon S3.

• Il controllo in uscita definisce i guardrail per il traffico in uscita utilizzando una VM proxy, che consente il traffico in uscita verso un insieme di domini preconfigurati e impedisce il traffico in uscita verso tutti gli altri. Consente un perimetro di sicurezza più elevato per il traffico in uscita e può impedire l'uscita indesiderata da un'istanza privata.

Il seguente diagramma dell'architettura di sistema mostra come un'istanza privata di Cloud Data Fusion si connette alla rete internet pubblica quando sviluppi una pipeline:

Quando progetti la pipeline in questo scenario, Cloud Data Fusion instrada il traffico in uscita tramite il progetto del cliente in Cloud Data Fusion Preview o Wrangler. Questa procedura utilizza le seguenti risorse:

• Una route della rete VPC personalizzata: una rete VPC personalizzata instrada il traffico tramite una route personalizzata importata alle VM gateway, che vengono esportate in una VPC del progetto del tenant utilizzando il peering VPC.

• Una VM gateway: una VM gateway instrada il traffico in uscita dal Google Cloud Gestisci questa VM nel progetto del cliente. Puoi configurarlo in un ambiente ad alta disponibilità (HA) utilizzando un bilanciatore del carico interno (ILB). Ti consigliamo di riutilizzare la VM per più istanze Cloud Data Fusion private all'interno della stessa VPC.

Per informazioni su come configurare il controllo delle uscite negli ambienti di progettazione ed esecuzione, consulta Controllare le uscite in un'istanza privata.

Prima di iniziare

• Puoi connetterti a un'origine pubblica da un'istanza privata nelle versioni 6.4 o successive di Cloud Data Fusion. Per utilizzare una di queste versioni, puoi creare una nuova istanza privata di Cloud Data Fusion o eseguire l'upgrade di un'istanza esistente alla versione 6.4.0.

• Quando crei una connessione in peering di rete VPC per la tua istanza, seleziona Esporta route.

Configurare la connettività a internet

I passaggi riportati di seguito descrivono come accedere a un bucket Amazon S3 da un'istanza Cloud Data Fusion privata in Wrangler. Gli stessi passaggi si applicano all'accesso a qualsiasi origine dati tramite internet pubblico quando progetti una pipeline in Anteprima o Wrangler.

In questa guida viene utilizzata una sola VM, ma per le applicazioni mission critical consigliamo di creare VM bilanciate in base al carico. Per ulteriori informazioni, vedi Configurare una VM ad alta disponibilità.

Crea un gateway NAT

Crea un gateway Cloud NAT nella stessa regione e nella stessa rete VPC dell'istanza privata Cloud Data Fusion.

Vai a Cloud NAT

Crea un'istanza VM gateway e le regole firewall

Nota: gli esempi in questa guida descrivono come configurare una VM gateway che utilizza un'immagine Debian (debian-10-buster-v20210316). Ti consigliamo di utilizzare una VM con un IP privato.

Console

1. Vai alla pagina Istanze VM.

   Vai a Istanze VM

2. Fai clic su Crea istanza. È consigliabile utilizzare una VM senza IP esterno.

3. Utilizza lo stesso VPC in cui è configurato il peering di rete con l'istanza Cloud Data Fusion privata. Per ulteriori informazioni sul peering di rete VPC in questo scenario, consulta Prima di iniziare.

4. Abilita il forwarding IP per l'istanza nella stessa rete dell'istanza Cloud Data Fusion.

5. Nel campo Script di avvio, inserisci lo script che segue:

   #! /bin/bash
   echo 1 > /proc/sys/net/ipv4/ip_forward
   iptables -t nat -A POSTROUTING -s 0.0.0.0/0 -j MASQUERADE
   echo net.ipv4.ip_forward=1 > /etc/sysctl.d/11-gce-network-security.conf
   iptables-save
   

   Per ulteriori informazioni, consulta Eseguire script di avvio.

   Nota: per maggiore restrizione, sostituisci 0.0.0.0/0 con l'intervallo IP allocato all'istanza privata di Cloud Data Fusion.

   Per ottenere l'intervallo IP allocato per l'istanza Cloud Data Fusion, vai alla pagina Dettagli istanza di Cloud Data Fusion.

   

gcloud

Per creare la VM gateway e le regole firewall, esegui lo script seguente in Google Cloud CLI:

export CDF_PROJECT=CDF_PROJECT
export GATEWAY_VM=GATEWAY_VM_NAME
export ZONE=VM_ZONE
export SUBNET=SUBNET
export VPC_NETWORK=VPC_NETWORK
export COMPUTE_ENGINE_SA=COMPUTE_ENGINE_SA

gcloud beta compute --project=$CDF_PROJECT instances create $GATEWAY_VM --zone=$ZONE --machine-type=e2-medium --subnet=$SUBNET --network-tier=PREMIUM --metadata=startup-script=\#\!\ /bin/bash$'\n'echo\ 1\ \>\ /proc/sys/net/ipv4/ip_forward$'\n'iptables\ -t\ nat\ -A\ POSTROUTING\ -s\ 0.0.0.0/0\ -j\ MASQUERADE$'\n'echo\ net.ipv4.ip_forward=1\ \>\ /etc/sysctl.d/11-gce-network-security.conf$'\n'iptables-save  --can-ip-forward --no-address --maintenance-policy=MIGRATE --service-account=$COMPUTE_ENGINE_SA --scopes=https://www.googleapis.com/auth/devstorage.read_only,https://www.googleapis.com/auth/logging.write,https://www.googleapis.com/auth/monitoring.write,https://www.googleapis.com/auth/servicecontrol,https://www.googleapis.com/auth/service.management.readonly,https://www.googleapis.com/auth/trace.append --tags=http-server,https-server --image=debian-10-buster-v20210316 --image-project=debian-cloud --boot-disk-size=10GB --boot-disk-type=pd-balanced --boot-disk-device-name=$GATEWAY_VM --no-shielded-secure-boot --shielded-vtpm --shielded-integrity-monitoring --reservation-affinity=any

gcloud compute --project=$CDF_PROJECT firewall-rules create egress-allow-http --direction=INGRESS --priority=1000 --network=$VPC_NETWORK --action=ALLOW --rules=tcp:80 --source-ranges=CDF_IP_RANGE --target-tags=http-server

gcloud compute --project=$CDF_PROJECT firewall-rules create egress-allow-https --direction=INGRESS --priority=1000 --network=$VPC_NETWORK --action=ALLOW --rules=tcp:443 --source-ranges=CDF_IP_RANGE --target-tags=https-server

Sostituisci quanto segue:

• CDF_PROJECT: l'identificatore univoco personalizzabile per il progetto
• GATEWAY_VM: il nome della VM da configurare
• ZONE: la zona della VM
• SUBNET: la subnet
• VPC_NETWORK: il nome della VM
• COMPUTE_ENGINE_SA: il nome del tuo account servizio Compute Engine
• CDF_IP_RANGE: l'intervallo IP allocato all'istanza Cloud Data Fusion

Utilizzo di una VPC condivisa

Se utilizzi un VPC condiviso per connettere l'istanza Cloud Data Fusion privata alle origini su internet pubblico, crea una VM gateway nel progetto host in cui è configurato il peering di rete VPC con il progetto tenant.

Creare un percorso personalizzato

Crea una route personalizzata per connetterti all'istanza VM gateway che hai creato.

Console

Per creare la route nella console Google Cloud, consulta Aggiunta di una route statica.

Quando configuri la route:

• Imposta Priorità su un valore maggiore o uguale a 1001. Imposta la destinazione sull'intervallo IP allocato all'istanza Cloud Data Fusion.
• Utilizza lo stesso progetto e la stessa VPC dell'istanza privata di Cloud Data Fusion.
• Assicurati che la configurazione del peering di rete VPC consenta di esportare le route, in modo che il VPC del progetto tenant Cloud Data Fusion importi questa route personalizzata tramite il peering di rete VPC.

gcloud

Per creare la route in gcloud CLI:

export ROUTE=ROUTE
gcloud beta compute routes create $ROUTE --project=$CDF_PROJECT \
    --network=$VPC_NETWORK --priority=1001 \
    --destination-range=0.0.0.0/0 \
    --next-hop-instance=$GATEWAY_VM \
    --next-hop-instance-zone=$ZONE

Sostituisci quanto segue:

• ROUTE: il nome della route personalizzata.

Verificare la configurazione

Dopo aver eseguito i passaggi precedenti, verifica di poter accedere ai servizi dei bucket S3 (o ad altri servizi SaaS o cloud pubblico) in Anteprima e Wrangler.

Configurare un gateway ad alta disponibilità

Consigliato:per le applicazioni mission critical, ti consigliamo di creare VM con bilanciamento del carico.

Crea regole firewall per i controlli di integrità

Crea regole firewall per consentire:

• Porta 80 (HTTP) e porta 443 (HTTPS) da tutti gli intervalli di origine.

• Traffico TCP, UDP e ICMP proveniente dagli indirizzi IP dei probe di controllo di integrità. Ad esempio: 130.211.0.0/22,35.191.0.0/16.

Console

Crea regole firewall per consentire le porte di tutti gli intervalli di origine e le regole firewall per consentire il traffico TCP, UDP e ICMP dagli indirizzi IP del prober del controllo di integrità, ad esempio 130.211.0.0/22,35.191.0.0/16.

Consulta Creare controlli di integrità.

gcloud

Crea una regola firewall per i controlli di integrità:

export CDF_PROJECT=PROJECT_ID
export VPC_NETWORK=VPC_NETWORK

gcloud compute --project=$CDF_PROJECT firewall-rules create vpc-allow-http \
    --direction=INGRESS --priority=1000 \
    --network=$VPC_NETWORK \
    --action=ALLOW --rules=tcp:80 \
    --source-ranges=CDF_IP_RANGE \
    --target-tags=http-server

gcloud compute --project=$CDF_PROJECT firewall-rules create vpc-allow-https \
    --direction=INGRESS --priority=1000 --network=$VPC_NETWORK \
    --action=ALLOW --rules=tcp:443 --source-ranges=CDF_IP_RANGE \
    --target-tags=https-server

gcloud compute --project=$CDF_PROJECT firewall-rules create allow-health-checks \
    --network=$VPC_NETWORK \
    --action=allow --direction=ingress \
    --target-tags=allow-health-checks \
    --source-ranges=130.211.0.0/22,35.191.0.0/16 \
    --rules=tcp,udp,icmp

Sostituisci quanto segue:

• PROJECT_ID: l'identificatore univoco personalizzabile per il tuo progetto.
• VPC_NETWORK: il nome della rete VPC.
• CDF_IP_RANGE: l'intervallo di indirizzi IP allocato a Cloud Data Fusion.

Crea un modello di istanza VM gateway

Console

Quando crei un modello di istanza nella console:

• Crealo nella stessa VPC dell'istanza Cloud Data Fusion.
• Consigliato:utilizza una VM con un indirizzo IP privato.
• Attiva le porte HTTP/HTTPS.
• Attiva l'IP forwarding

• Nel campo Script di avvio, inserisci lo script che segue:

  #! /bin/bash
  echo 1 > /proc/sys/net/ipv4/ip_forward
  iptables -t nat -A POSTROUTING -s 0.0.0.0/0 -j MASQUERADE
  echo net.ipv4.ip_forward=1 > /etc/sysctl.d/11-gce-network-security.conf
  iptables-save
  

  Per ulteriori informazioni, consulta Eseguire script di avvio.

  Nota: per maggiore restrizione, sostituisci 0.0.0.0/0 con l'intervallo IP allocato all'istanza privata di Cloud Data Fusion.

  Per ottenere l'intervallo IP allocato per l'istanza Cloud Data Fusion, vai alla pagina Dettagli istanza di Cloud Data Fusion.

gcloud

Crea un modello di istanza:

export TEMPLATE_NAME=TEMPLATE_NAME
export REGION=REGION
export SUBNET=SUBNET
export SERVICE_ACCOUNT=SERVICE_ACCOUNT

gcloud beta compute --project=$CDF_PROJECT instance-templates create $TEMPLATE_NAME \
--machine-type=e2-medium \
--subnet=projects/$CDF_PROJECT/regions/$REGION/subnetworks/$SUBNET \
--network-tier=PREMIUM --metadata=startup-script=sudo\ bash\ -c\ \"echo\ 1\ \>\ /proc/sys/net/ipv4/ip_forward\"$'\n'sudo\ iptables\ -t\ nat\ -A\ POSTROUTING\ -s\ 0.0.0.0/0\ -j\ MASQUERADE$'\n'sudo\ bash\ -c\ \"echo\ net.ipv4.ip_forward=1\ \>\ /etc/sysctl.d/11-gce-network-security.conf\"$'\n'sudo\ iptables-save \
--can-ip-forward --no-address --maintenance-policy=MIGRATE \
--service-account=$SERVICE_ACCOUNT \
--scopes=https://www.googleapis.com/auth/devstorage.read_only,https://www.googleapis.com/auth/logging.write,https://www.googleapis.com/auth/monitoring.write,https://www.googleapis.com/auth/servicecontrol,https://www.googleapis.com/auth/service.management.readonly,https://www.googleapis.com/auth/trace.append \
--region=$REGION --tags=http-server,https-server,allow-health-checks \
--image=debian-10-buster-v20210316 \
--image-project=debian-cloud --boot-disk-size=10GB \
--boot-disk-type=pd-balanced \
--boot-disk-device-name=$TEMPLATE_NAME \
--no-shielded-secure-boot --no-shielded-vtpm \
--no-shielded-integrity-monitoring \
--reservation-affinity=any

Crea un controllo di integrità

Nessun servizio viene eseguito su questa istanza VM gateway, quindi puoi utilizzare la porta 22 per il controllo di integrità.

Console

Consulta Creare controlli di integrità.

gcloud

Crea un controllo di integrità:

export HEATH_CHECK=HEALTH_CHECK_NAME

gcloud beta compute health-checks create tcp $HEATH_CHECK --project=$CDF_PROJECT \
--port=22 --proxy-header=NONE --no-enable-logging \
--check-interval=5 --timeout=5 \
--unhealthy-threshold=2 --healthy-threshold=2

Crea un gruppo di istanze

Utilizzando il controllo di integrità creato nel passaggio precedente, crea un gruppo di istanze:

Console

Consulta Creare gruppi di istanze gestite.

gcloud

Crea un gruppo di istanze:

export INSTANCE_GROUP=INSTANCE_GROUP
gcloud beta compute --project=$CDF_PROJECT instance-groups managed create $INSTANCE_GROUP \
--base-instance-name=$INSTANCE_GROUP \
--template=$TEMPLATE_NAME --size=1 --zone=$ZONE \
--health-check=test --initial-delay=300

gcloud beta compute --project "$CDF_PROJECT" instance-groups managed set-autoscaling "$INSTANCE_GROUP" \
--zone "$ZONE" --cool-down-period "60" \
--max-num-replicas "10" --min-num-replicas "1" \
--target-cpu-utilization "0.6" --mode "on"

Crea un bilanciatore del carico

Crea un bilanciatore del carico TCP (ILB) dal gruppo di istanze creato nel passaggio precedente.

Aggiungi la route personalizzata al bilanciatore del carico

Aggiungi la route personalizzata al bilanciatore del carico interno (ILB) nella stessa VPC dell'istanza Cloud Data Fusion.

Console

Vai alla pagina Rete VPC.

Vai a Reti VPC

Nella scheda Route (Percorso), fai clic su Crea route.

gcloud

Aggiungi la route personalizzata al bilanciatore del carico interno:

export ROUTE=ROUTE_NAME
export ILB_FRONTEND=<ip_of_ilb_frontend>
gcloud beta compute routes create $ROUTE --project=$CDF_PROJECT \
--network=$VPC_NETWORK --priority=1001 \
--destination-range=0.0.0.0/0 \
--next-hop-ilb=$ILB_FRONTEND \
--next-hop-ilb-region=$REGION

Risoluzione dei problemi

Ricezione di errori di timeout di connessione in Preview o Wrangler

Quando configuri i controlli in uscita, potresti ricevere un errore Connection Timeout.

Per risolvere il problema, verifica che siano presenti le seguenti impostazioni:

• Il peering della rete VPC tra il progetto del tenant e il progetto del cliente è presente.
• Il peering di rete VPC ha route di esportazione abilitati.
• La route personalizzata alla VM gateway o all'ILB non è mancante.
• Non mancano le regole firewall che consentono il traffico HTTP e HTTPS.

I controlli di integrità del gruppo di istanze non vanno a buon fine

Verifica che siano presenti regole firewall per consentire il traffico TCP, UDP e ICMP dall'intervallo di origine 130.211.0.0/22,35.191.0.0/16.

La pipeline non riesce a eseguire in Dataproc

Per accedere alla rete internet pubblica al momento dell'esecuzione, abilita Cloud NAT nella stessa regione e nella stessa rete del cluster Dataproc.

Passaggi successivi

• Scopri come controllare l'uscita in un'istanza privata di Cloud Data Fusion solo per un insieme specifico di domini.
• Scopri di più sul networking in Cloud Data Fusion.