Questa pagina descrive come configurare Private Service Connect in in Cloud Data Fusion.
Informazioni su Private Service Connect in Cloud Data Fusion
Le istanze di Cloud Data Fusion potrebbero dover connettersi a risorse on-premise, su Google Cloud o su altri provider cloud. Quando utilizzi Cloud Data Fusion con indirizzi IP interni, le connessioni alle risorse esterne vengono stabilite tramite una rete Virtual Private Cloud (VPC) nel tuo progetto Google Cloud. Il traffico sulla rete non passa per la rete internet pubblica. Quando a Cloud Data Fusion viene fornito l'accesso alla tua rete VPC utilizzando il peering VPC, ci sono limitazioni che diventano evidenti quando utilizzi reti di grandi dimensioni.
Con le interfacce Private Service Connect, Cloud Data Fusion si connette al VPC senza utilizzare il peering VPC. L'interfaccia Private Service Connect è un tipo di Private Service Connect che consente a Cloud Data Fusion di avviare connessioni private e sicure alle reti VPC dei consumatori. Questo non solo offre la flessibilità facilità di accesso (come il peering VPC), ma fornisce anche autorizzazioni esplicite il controllo lato consumatore offerto da Private Service Connect.
Il seguente diagramma mostra come viene implementata l'interfaccia Private Service Connect in Cloud Data Fusion:
Figura 1. Deployment dell'interfaccia Private Service Connect
Descrizione della Figura 1:
Le macchine virtuali (VM) che eseguono Cloud Data Fusion sono ospitate in un Progetto tenant di proprietà di Google. Per accedere alle risorse nel VPC del cliente, Le VM di Cloud Data Fusion utilizzano l'indirizzo IP assegnato Interfaccia di rete Private Service Connect, dall'interfaccia utente una subnet. Questa subnet viene aggiunta al collegamento di rete utilizzato da Cloud Data Fusion.
I pacchetti IP provenienti dall'interfaccia Private Service Connect vengono trattati in modo simile a quelli di una VM nella stessa subnet. Questo consente a Cloud Data Fusion di accedere direttamente alle risorse il VPC del cliente o un VPC peer senza bisogno di un proxy.
Le risorse di internet diventano accessibili quando Cloud NAT è abilitato nel VPC del cliente, mentre le risorse on-premise sono raggiungibili tramite un interconnect.
Per gestire il traffico in entrata o in uscita da Private Service Connect, puoi implementare regole firewall.
Vantaggi principali
Di seguito sono riportati i vantaggi principali dell'utilizzo di Cloud Data Fusion con Private Service Connect:
Migliore controllo dello spazio IP. Sei tu a controllare gli indirizzi IP utilizzati da Cloud Data Fusion per connettersi alla tua rete. Scegli le subnet da cui vengono allocati gli indirizzi IP a Cloud Data Fusion. Tutto il traffico proveniente da Cloud Data Fusion ha un indirizzo IP di origine della sottorete configurata.
Private Service Connect elimina la necessità di indirizzi IP riservati da un VPC del cliente. Il peering VPC richiede un blocco CIDR /22 (1024 indirizzi IP) per istanza Cloud Data Fusion.
Maggiore sicurezza e isolamento. Configurando un allegato di rete, puoi controllare quali servizi possono accedere alla tua rete.
Configurazione semplificata delle istanze Cloud Data Fusion. Crea una rete collegamento per ciascun VPC cliente solo una volta. Non è necessario utilizzare VM proxy per connettersi di risorse su internet, VPC peer o on-premise.
Concetti fondamentali
Questa sezione illustra i concetti relativi Private Service Connect in Cloud Data Fusion.
Collegamento di rete
Il collegamento di rete è una risorsa di regione utilizzata per autorizzare Cloud Data Fusion a utilizzare e stabilire connessioni di rete in privato per accedere alle risorse nel tuo VPC. Per ulteriori informazioni, consulta Informazioni sui collegamenti di rete.
VPC condiviso
Di seguito è riportato un caso d'uso per le interfacce Private Service Connect con VPC condiviso:
Il team di rete o di infrastruttura è proprietario delle subnet in un progetto host. Hanno lasciato i team dell'applicazione usano queste subnet dal loro progetto di servizio.
I team delle applicazioni sono proprietari dei collegamenti di rete di un progetto di servizio. L'aggregazione di rete definisce i progetti del tenant Cloud Data Fusion che possono connettersi alle sottoreti collegate all'aggregazione di rete.
Puoi creare un collegamento di rete in un progetto di servizio. Le subnet utilizzate in collegamento di rete può essere solo nel progetto host.
Il seguente diagramma illustra questo caso d'uso:
Figura 2. Caso d'uso per le interfacce Private Service Connect con VPC condiviso
Descrizione della Figura 2:
Il collegamento di rete è presente nel progetto di servizio. L'attacco della rete utilizza una subnet che appartiene a un VPC condiviso nel progetto host.
L'istanza Cloud Data Fusion è presente nel progetto di servizio e utilizza il collegamento di rete del progetto di servizio per stabilire e la connettività privata.
All'istanza Cloud Data Fusion vengono assegnati indirizzi IP dalla subnet nel VPC condiviso.
Prima di iniziare
Private Service Connect è disponibile solo in Cloud Data Fusion versione 6.10.0 e successive.
Puoi abilitare Private Service Connect solo quando crei un nuova istanza di Cloud Data Fusion. Non puoi eseguire la migrazione delle istanze esistenti per utilizzare Private Service Connect.
Prezzi
I dati in entrata e in uscita tramite Private Service Connect carico. Per ulteriori informazioni, consulta i prezzi di Private Service Connect.
Ruoli e autorizzazioni richiesti
Per ottenere le autorizzazioni necessarie per creare un'istanza Cloud Data Fusion e un collegamento di rete, chiedi all'amministratore di concederti quanto segue Ruoli IAM (Identity and Access Management) relativi al progetto:
- Crea un'istanza Cloud Data Fusion:
Amministratore Cloud Data Fusion (
roles/datafusion.admin) - Crea, visualizza ed elimina i collegamenti di rete:
Compute Network Admin (
roles/compute.networkAdmin)
Per assicurarti che Cloud Data Fusion disponga delle autorizzazioni necessarie per convalidare la configurazione di rete, chiedi all'amministratore di concedere all'agente di servizio Cloud Data Fusion (del formato service-CUSTOMER_PROJECT_NUMBER@gcp-sa-datafusion.iam.gserviceaccount.com) i seguenti ruoli IAM nel tuo progetto:
Per il VPC associato al collegamento di rete: Visualizzatore di rete Compute (
roles/compute.networkViewer)Per fare in modo che Cloud Data Fusion aggiunga il proprio progetto tenant al producer, elenco dei collegamenti di rete:
compute.networkAttachments.getcompute.networkAttachments.updatecompute.networkAttachments.list
Il ruolo più restrittivo con queste autorizzazioni è il ruolo Amministratore rete Compute (
roles/compute.networkAdmin). Queste autorizzazioni fanno parte del ruolo Agente di servizio API Cloud Data Fusion (roles/datafusion.serviceAgent), che viene concesso automaticamente all'agente di servizio Cloud Data Fusion. Pertanto, nessuna azione è richiesto, a meno che la concessione del ruolo di agente di servizio non sia stata rimossa esplicitamente.
Per ulteriori informazioni sulla concessione dei ruoli, consulta Gestisci accesso.
Potresti anche riuscire a ottenere le autorizzazioni richieste tramite ruoli personalizzati o altri ruoli predefiniti.
Per ulteriori informazioni sulle opzioni di controllo dell'accesso in Cloud Data Fusion, consulta Controllo dell'accesso con IAM.
Crea un VPC o una rete VPC condiviso
Assicurati di aver creato una rete VPC o una rete VPC condivisa.
Configurazione di Private Service Connect
Per configurare Private Service Connect in Cloud Data Fusion, devi prima creare un collegamento di rete, quindi Istanza Cloud Data Fusion con Private Service Connect.
Crea un collegamento di rete
Il collegamento di rete fornisce un insieme di subnet. Per creare un allegato di rete:
Console
Nella console Google Cloud, vai alla pagina Esecuzioni di rete:
Fai clic su Crea collegamento di rete.
Nel campo Nome, inserisci un nome per il collegamento di rete.
Dall'elenco Rete, seleziona un VPC o un VPC condiviso in ogni rete.
Dall'elenco Regione, seleziona una regione di Google Cloud. Questa regione deve corrispondere all'istanza di Cloud Data Fusion.
Dall'elenco Subnet, seleziona un intervallo di subnet.
In Preferenza di connessione, seleziona Accetta connessioni per i progetti selezionati.
Cloud Data Fusion aggiunge automaticamente il progetto tenant di Cloud Data Fusion all'elenco Progetti accettati quando crei l'istanza Cloud Data Fusion.
Non aggiungere progetti accettati o progetti rifiutati.
Fai clic su Crea collegamento di rete.
gcloud
Crea una o più subnet. Ad esempio:
gcloud compute networks subnets create subnet-1 --network=network-0 --range=10.10.1.0/24 --region=REGIONL'attacco alla rete utilizza queste sottoreti nei passaggi successivi.
Crea una risorsa di collegamento di rete nella stessa regione dell'istanza Cloud Data Fusion, con la proprietà
connection-preferenceimpostata suACCEPT_MANUAL:gcloud compute network-attachments create NAME --region=REGION --connection-preference=ACCEPT_MANUAL --subnets=SUBNETSostituisci quanto segue:
NAME: il nome dell'attacco alla rete.REGION: il nome della regione Google Cloud. Questa regione deve essere uguale all'istanza Cloud Data Fusion.SUBNET: il nome della subnet.
L'output di questo comando è l'URL di un collegamento di rete del seguente formato:
projects/PROJECT/locations/REGION/network-attachments/NETWORK_ATTACHMENT_ID.Prendi nota di questo URL perché Cloud Data Fusion ne ha bisogno per e la connettività privata.
API REST
Crea un collegamento di rete:
alias authtoken="gcloud auth print-access-token" NETWORK_ATTACHMENT_NAME=NETWORK_ATTACHMENT_NAME REGION=REGION SUBNET=SUBNET PROJECT_ID=PROJECT_ID read -r -d '' BODY << EOM { "name": "$NETWORK_ATTACHMENT_NAME", "description": "Network attachment for private Cloud Data Fusion", "connectionPreference": "ACCEPT_MANUAL", "subnetworks": [ "projects/$PROJECT_ID/regions/$REGION/subnetworks/$SUBNET" ] } EOM curl -H "Authorization: Bearer $(authtoken)" \ -H "Content-Type: application/json" \ -X POST -d "$BODY" "https://compute.googleapis.com/compute/v1/projects/$PROJECT_ID/regions/$REGION/networkAttachments"Sostituisci quanto segue:
NETWORK_ATTACHMENT_NAME: il nome del tuo collegamento di rete.REGION: il nome della regione Google Cloud. Questa regione deve essere la stessa dell'istanza Cloud Data Fusion.SUBNET: il nome della subnet.PROJECT_ID: l'ID del progetto.
Creare un'istanza Cloud Data Fusion
Cloud Data Fusion utilizza un blocco CIDR /25 (128 IP) per le risorse nel progetto del tenant. Questo è chiamato intervallo non raggiungibile o riservato. Puoi utilizzare gli stessi indirizzi IP nei VPC, ma le VM Cloud Data Fusion non potranno connettersi alle tue risorse utilizzando questo intervallo.
Nella maggior parte dei casi, questo non è un problema, in quanto il blocco CIDR non raggiungibile si trova per impostazione predefinita in un intervallo non RFC 1918 (240.0.0.0/8). Se vuoi controllare non raggiungibile, consulta la sezione Configurazioni avanzate.
Per creare un'istanza Cloud Data Fusion con Private Service Connect abilitato, segui questi passaggi:
Console
Nella console Google Cloud, vai alla pagina Istanze di Cloud Data Fusion e fai clic su Crea istanza.
Nel campo Nome istanza, inserisci un nome per la nuova istanza.
Nel campo Descrizione, inserisci una descrizione per l'istanza.
Dall'elenco Regione, seleziona la regione Google Cloud in cui vuoi creare l'istanza.
Nell'elenco Versione, seleziona
6.10o una versione successiva.Seleziona un'Edizione. Per ulteriori informazioni sui prezzi consulta la panoramica dei prezzi di Cloud Data Fusion.
Espandi Opzioni avanzate e segui questi passaggi:
Seleziona Abilita IP privato.
Seleziona Private Service Connect come Tipo di connettività.
Nella sezione Collegamento di rete, seleziona il collegamento di rete che hai creato in Creare un collegamento di rete.
Fai clic su Crea. Il processo di creazione dell'istanza richiede fino a 30 minuti.
API REST
Esegui questo comando:
alias authtoken="gcloud auth print-access-token"
EDITION=EDITION
PROJECT_ID=PROJECT_ID
REGION=REGION
CDF_ID=INSTANCE_ID
NETWORK_ATTACHMENT_ID=NETWORK_ATTACHMENT_ID
read -r -d '' BODY << EOM
{
"description": "PSC enabled instance",
"version": "6.10",
"type": "$EDITION",
"privateInstance": "true",
"networkConfig": {
"connectionType": "PRIVATE_SERVICE_CONNECT_INTERFACES",
"privateServiceConnectConfig": {
"networkAttachment": "$NETWORK_ATTACHMENT_ID"
}
}
}
EOM
curl -H "Authorization: Bearer $(authtoken)" \
-H "Content-Type: application/json" \
-X POST -d "$BODY" "https://datafusion.googleapis.com/v1/projects/$PROJECT_ID/locations/$REGION/instances/?instanceId=$CDF_ID"
Sostituisci quanto segue:
EDITION: Cloud Data Fusion versione:BASIC,DEVELOPERoENTERPRISE.PROJECT_ID: l'ID del progetto.REGION: il nome della regione Google Cloud. Questa regione deve essere la stessa dell'istanza Cloud Data Fusion.INSTANCE_ID: l'ID dell'istanza.NETWORK_ATTACHMENT_ID: l'ID del tuo attacco alla rete.
Configurazioni avanzate
Per abilitare la condivisione delle subnet, puoi fornire lo stesso collegamento di rete a di più istanze di Cloud Data Fusion. Al contrario, se vuoi dedicare una subnet per una determinata istanza Cloud Data Fusion, fornisce un collegamento di rete specifico, che potrà essere utilizzato da Cloud Data Fusion in esecuzione in un'istanza Compute Engine.
Consigliato: per applicare un criterio firewall uniforme a tutti i server Per le istanze Cloud Data Fusion, utilizza lo stesso collegamento di rete.
Se vuoi controllare il blocco CIDR /25 che non è raggiungibile
Cloud Data Fusion, specifica la proprietà unreachableCidrBlock quando
per creare l'istanza. Ad esempio:
alias authtoken="gcloud auth print-access-token"
EDITION=EDITION
PROJECT_ID=PROJECT_ID
REGION=REGION
CDF_ID=INSTANCE_ID
NETWORK_ATTACHMENT_ID=NETWORK_ATTACHMENT_ID
UNREACHABLE_RANGE=UNREACHABLE_RANGE
read -r -d '' BODY << EOM
{
"description": "PSC enabled instance",
"version": "6.10",
"type": "$EDITION",
"privateInstance": "true",
"networkConfig": {
"connectionType": "PRIVATE_SERVICE_CONNECT_INTERFACES",
"privateServiceConnectConfig": {
"unreachableCidrBlock": "$UNREACHABLE_RANGE",
"networkAttachment": "projects/$PROJECT_ID/regions/$REGION/networkAttachments/$NETWORK_ATTACHMENT_ID"
}
}
}
EOM
curl -H "Authorization: Bearer $(authtoken)" \
-H "Content-Type: application/json" \
-X POST -d "$BODY" "https://datafusion.googleapis.com/v1/projects/$PROJECT_ID/locations/$REGION/instances/?instanceId=$CDF_ID"
Sostituisci quanto segue:
EDITION: Cloud Data Fusion versione:BASIC,DEVELOPERoENTERPRISE.PROJECT_ID: l'ID del progetto.REGION: il nome della regione Google Cloud. Questa regione deve essere la stessa dell'istanza Cloud Data Fusion.INSTANCE_ID: l'ID dell'istanza.NETWORK_ATTACHMENT_ID: l'ID del tuo attacco alla rete.UNREACHABLE_RANGE: l'intervallo non raggiungibile, ad esempio10.0.0.0/25.
Sicurezza
Questa sezione descrive la sicurezza tra Cloud Data Fusion e i consumatori.
Cloud Data Fusion per la sicurezza dei consumatori
Le interfacce Private Service Connect supportano le regole firewall in uscita per controllare a quali dati Cloud Data Fusion può accedere all'interno del tuo VPC. Per ulteriori informazioni, vedi Limita il traffico in entrata dal produttore al consumatore.
Dal consumatore alla sicurezza di Cloud Data Fusion
Le VM Cloud Data Fusion con interfaccia Private Service Connect bloccano qualsiasi traffico proveniente dal tuo VPC e che non è un pacchetto di risposta.