Questa pagina descrive come configurare Private Service Connect in Cloud Data Fusion.
Informazioni su Private Service Connect in Cloud Data Fusion
Le istanze di Cloud Data Fusion potrebbero dover connettersi a risorse on-premise, su Google Cloudo su altri provider cloud. Quando utilizzi Cloud Data Fusion con indirizzi IP interni, le connessioni alle risorse esterne vengono stabilite tramite una rete VPC (Virtual Private Cloud) nel tuo progetto.Google Cloud Il traffico sulla rete non passa per la rete internet pubblica. Quando a Cloud Data Fusion viene fornito l'accesso alla tua rete VPC utilizzando il peering VPC, esistono limitazioni che diventano evidenti quando utilizzi reti di grandi dimensioni.
Con le interfacce Private Service Connect, Cloud Data Fusion si connette al tuo VPC senza utilizzare il peering VPC. L'interfaccia Private Service Connect è un tipo di Private Service Connect che consente a Cloud Data Fusion di avviare connessioni private e sicure alle reti VPC dei consumer. Ciò non solo offre flessibilità e facilità di accesso (come il peering VPC), ma anche l'autorizzazione esplicita e il controllo lato consumatore offerti da Private Service Connect.
Il seguente diagramma mostra come viene implementata l'interfaccia Private Service Connect in Cloud Data Fusion:
Figura 1. Deployment dell'interfaccia Private Service Connect
Descrizione della Figura 1:
Le macchine virtuali (VM) che eseguono Cloud Data Fusion sono ospitate in un progetto tenant di proprietà di Google. Per accedere alle risorse nel VPC del cliente, le VM Cloud Data Fusion utilizzano l'indirizzo IP assegnato dall'interfaccia di rete Private Service Connect dalla sottorete del cliente. Questa subnet viene aggiunta al collegamento di rete utilizzato da Cloud Data Fusion.
I pacchetti IP provenienti dall'interfaccia Private Service Connect vengono trattati in modo simile a quelli di una VM nella stessa subnet. Questa configurazione consente a Cloud Data Fusion di accedere direttamente alle risorse nel VPC del cliente o in un VPC peer senza bisogno di un proxy.
Le risorse di internet diventano accessibili quando Cloud NAT è abilitato nel VPC del cliente, mentre le risorse on-premise sono raggiungibili tramite un interconnect.
Per gestire il traffico in entrata o in uscita da Private Service Connect, puoi implementare regole firewall.
Vantaggi principali
Di seguito sono riportati i vantaggi principali dell'utilizzo di Cloud Data Fusion con Private Service Connect:
Migliore controllo dello spazio IP. Sei tu a controllare gli indirizzi IP utilizzati da Cloud Data Fusion per connettersi alla tua rete. Scegli le subnet da cui vengono allocati gli indirizzi IP a Cloud Data Fusion. Tutto il traffico proveniente da Cloud Data Fusion ha un indirizzo IP di origine della sottorete configurata.
Private Service Connect elimina la necessità di indirizzi IP riservati da un VPC del cliente. Il peering VPC richiede un blocco CIDR /22 (1024 indirizzi IP) per istanza Cloud Data Fusion.
Maggiore sicurezza e isolamento. Configurando un allegato di rete, controlla i servizi che possono accedere alla tua rete.
Configurazione semplificata delle istanze Cloud Data Fusion. Crea un collegamento di rete per VPC del cliente una sola volta. Non è necessario utilizzare VM proxy per connettersi alle risorse su internet, alle VPC peer o on-premise.
Concetti fondamentali
Questa sezione illustra i concetti coinvolti in Private Service Connect in Cloud Data Fusion.
Collegamento di rete
Il collegamento di rete è una risorsa di regione utilizzata per autorizzare Cloud Data Fusion a utilizzare e stabilire connessioni di rete in privato per accedere alle risorse nel tuo VPC. Per saperne di più, consulta Informazioni sui collegamenti di rete.
VPC condiviso
Di seguito è riportato un caso d'uso per le interfacce Private Service Connect con VPC condiviso:
Il team di rete o di infrastruttura è proprietario delle subnet in un progetto host. Consentono ai team delle applicazioni di utilizzare queste subnet dal loro progetto di servizio.
I team delle applicazioni sono proprietari dei collegamenti di rete in un progetto di servizio. L'aggregazione di rete definisce i progetti del tenant Cloud Data Fusion che possono connettersi alle sottoreti collegate all'aggregazione di rete.
Puoi creare un collegamento di rete in un progetto di servizio. Le subnet utilizzate in un collegamento di rete possono trovarsi solo nel progetto host.
Il seguente diagramma illustra questo caso d'uso:
Figura 2. Caso d'uso per le interfacce Private Service Connect con VPC condiviso
Descrizione della Figura 2:
Il collegamento di rete è presente nel progetto di servizio. L'attacco della rete utilizza una subnet che appartiene a un VPC condiviso nel progetto host.
L'istanza Cloud Data Fusion è presente nel progetto di servizio e utilizza il collegamento di rete del progetto di servizio per stabilire la connettività privata.
All'istanza Cloud Data Fusion vengono assegnati indirizzi IP dalla subnet nel VPC condiviso.
Prima di iniziare
Private Service Connect è disponibile solo nella versione 6.10.0 e successive di Cloud Data Fusion.
Puoi attivare Private Service Connect solo quando crei una nuova istanza Cloud Data Fusion. Non puoi eseguire la migrazione delle istanze esistenti per utilizzare Private Service Connect.
Prezzi
L'ingresso e l'uscita dei dati tramite Private Service Connect sono soggetti a costi. Per ulteriori informazioni, consulta i prezzi di Private Service Connect.
Ruoli e autorizzazioni richiesti
Per ottenere le autorizzazioni necessarie per creare un'istanza Cloud Data Fusion e un collegamento di rete, chiedi all'amministratore di concederti i seguenti ruoli IAM nel progetto:
- Crea un'istanza Cloud Data Fusion:
Cloud Data Fusion Admin (
roles/datafusion.admin) - Crea, visualizza ed elimina i collegamenti di rete:
Compute Network Admin (
roles/compute.networkAdmin)
Per assicurarti che Cloud Data Fusion disponga delle autorizzazioni necessarie per convalidare la configurazione di rete, chiedi all'amministratore di concedere all'agente di servizio Cloud Data Fusion (del formato service-CUSTOMER_PROJECT_NUMBER@gcp-sa-datafusion.iam.gserviceaccount.com) i seguenti ruoli IAM nel tuo progetto:
Per la VPC associata all'attacco di rete: Compute Network Viewer (
roles/compute.networkViewer)Affinché Cloud Data Fusion aggiunga il proprio progetto tenant all'elenco di accettazione del produttore dell'attacco alla rete:
compute.networkAttachments.getcompute.networkAttachments.updatecompute.networkAttachments.list
Il ruolo più restrittivo con queste autorizzazioni è il ruolo Amministratore rete Compute (
roles/compute.networkAdmin). Queste autorizzazioni fanno parte del ruolo Agente di servizio API Cloud Data Fusion (roles/datafusion.serviceAgent), che viene concesso automaticamente all'agente di servizio Cloud Data Fusion. Pertanto, non è richiesta alcuna azione, a meno che la concessione del ruolo agente di servizio non sia stata rimossa esplicitamente.
Per ulteriori informazioni sulla concessione dei ruoli, consulta Gestire l'accesso.
Potresti anche riuscire a ottenere le autorizzazioni richieste tramite ruoli personalizzati o altri ruoli predefiniti.
Per ulteriori informazioni sulle opzioni di controllo dell'accesso in Cloud Data Fusion, consulta Controllo dell'accesso con IAM.
Crea una rete VPC o VPC condivisa
Assicurati di aver creato una rete VPC o una rete VPC condivisa.
Configurazione di Private Service Connect
Per configurare Private Service Connect in Cloud Data Fusion, devi prima creare un collegamento di rete e poi un' istanza Cloud Data Fusion con Private Service Connect.
Crea un collegamento di rete
Il collegamento di rete fornisce un insieme di subnet. Per creare un allegato di rete:
Console
Nella console Google Cloud, vai alla pagina Esecuzioni di rete:
Fai clic su Crea collegamento di rete.
Nel campo Nome, inserisci un nome per il collegamento di rete.
Dall'elenco Rete, seleziona una rete VPC o un VPC condiviso.
Nell'elenco Regione, seleziona una Google Cloud regione. Questa regione deve essere uguale a quella dell'istanza Cloud Data Fusion.
Nell'elenco Subnet, seleziona un intervallo di subnet.
In Preferenza di connessione, seleziona Accetta connessioni per i progetti selezionati.
Cloud Data Fusion aggiunge automaticamente il progetto tenant di Cloud Data Fusion all'elenco Progetti accettati quando crei l'istanza Cloud Data Fusion.
Non aggiungere Progetti accettati o Progetti rifiutati.
Fai clic su Crea collegamento di rete.
gcloud
Crea una o più subnet. Ad esempio:
gcloud compute networks subnets create subnet-1 --network=network-0 --range=10.10.1.0/24 --region=REGIONL'attacco alla rete utilizza queste sottoreti nei passaggi successivi.
Crea una risorsa di collegamento di rete nella stessa regione dell'istanza Cloud Data Fusion, con la proprietà
connection-preferenceimpostata suACCEPT_MANUAL:gcloud compute network-attachments create NAME --region=REGION --connection-preference=ACCEPT_MANUAL --subnets=SUBNETSostituisci quanto segue:
NAME: il nome dell'attacco alla rete.REGION: il nome della Google Cloud regione. Questa regione deve essere la stessa dell'istanza Cloud Data Fusion.SUBNET: il nome della subnet.
L'output di questo comando è un URL dell'allegazione di rete nel seguente formato:
projects/PROJECT/locations/REGION/network-attachments/NETWORK_ATTACHMENT_ID.Prendi nota di questo URL perché Cloud Data Fusion lo richiede per la connettività.
API REST
Crea un collegamento di rete:
alias authtoken="gcloud auth print-access-token" NETWORK_ATTACHMENT_NAME=NETWORK_ATTACHMENT_NAME REGION=REGION SUBNET=SUBNET PROJECT_ID=PROJECT_ID read -r -d '' BODY << EOM { "name": "$NETWORK_ATTACHMENT_NAME", "description": "Network attachment for private Cloud Data Fusion", "connectionPreference": "ACCEPT_MANUAL", "subnetworks": [ "projects/$PROJECT_ID/regions/$REGION/subnetworks/$SUBNET" ] } EOM curl -H "Authorization: Bearer $(authtoken)" \ -H "Content-Type: application/json" \ -X POST -d "$BODY" "https://compute.googleapis.com/compute/v1/projects/$PROJECT_ID/regions/$REGION/networkAttachments"Sostituisci quanto segue:
NETWORK_ATTACHMENT_NAME: il nome dell'aggancio alla rete.REGION: il nome della Google Cloud regione. Questa regione deve essere la stessa dell'istanza Cloud Data Fusion.SUBNET: il nome della subnet.PROJECT_ID: l'ID del progetto.
Creare un'istanza Cloud Data Fusion
Cloud Data Fusion utilizza un blocco CIDR /25 (128 IP) per le risorse nel progetto del tenant. Questo intervallo è chiamato intervallo non raggiungibile o riservato. Puoi utilizzare gli stessi indirizzi IP nei VPC, ma le VM Cloud Data Fusion non potranno connettersi alle tue risorse utilizzando questo intervallo.
Nella maggior parte dei casi, questo non è un problema, in quanto il blocco CIDR non raggiungibile si trova per impostazione predefinita in un intervallo non RFC 1918 (240.0.0.0/8). Se vuoi controllare l'intervallo non raggiungibile, consulta la sezione Configurazioni avanzate.
Per creare un'istanza Cloud Data Fusion con Private Service Connect abilitato, segui questi passaggi:
Console
Nella console Google Cloud, vai alla pagina Istanze di Cloud Data Fusion e fai clic su Crea istanza.
Nel campo Nome istanza, inserisci un nome per la nuova istanza.
Nel campo Descrizione, inserisci una descrizione per l'istanza.
Nell'elenco Regione, seleziona la Google Cloud regione in cui vuoi creare l'istanza.
Nell'elenco Versione, seleziona
6.10o una versione successiva.Seleziona un'Edizione. Per ulteriori informazioni sui prezzi delle diverse versioni, consulta la panoramica dei prezzi di Cloud Data Fusion.
Espandi Opzioni avanzate e segui questi passaggi:
Seleziona Abilita IP privato.
Seleziona Private Service Connect come Tipo di connettività.
Nella sezione Collegamento di rete, seleziona il collegamento di rete che hai creato in Creare un collegamento di rete.
Fai clic su Crea. Il processo di creazione dell'istanza richiede fino a 30 minuti.
API REST
Esegui questo comando:
alias authtoken="gcloud auth print-access-token"
EDITION=EDITION
PROJECT_ID=PROJECT_ID
REGION=REGION
CDF_ID=INSTANCE_ID
NETWORK_ATTACHMENT_ID=NETWORK_ATTACHMENT_ID
read -r -d '' BODY << EOM
{
"description": "PSC enabled instance",
"version": "6.10",
"type": "$EDITION",
"privateInstance": "true",
"networkConfig": {
"connectionType": "PRIVATE_SERVICE_CONNECT_INTERFACES",
"privateServiceConnectConfig": {
"networkAttachment": "$NETWORK_ATTACHMENT_ID"
}
}
}
EOM
curl -H "Authorization: Bearer $(authtoken)" \
-H "Content-Type: application/json" \
-X POST -d "$BODY" "https://datafusion.googleapis.com/v1/projects/$PROJECT_ID/locations/$REGION/instances/?instanceId=$CDF_ID"
Sostituisci quanto segue:
EDITION: la versione di Cloud Data Fusion:BASIC,DEVELOPERoENTERPRISE.PROJECT_ID: l'ID del progetto.REGION: il nome della Google Cloud regione. Questa regione deve essere la stessa dell'istanza Cloud Data Fusion.INSTANCE_ID: l'ID dell'istanza.NETWORK_ATTACHMENT_ID: l'ID del collegamento alla rete.
Configurazioni avanzate
Per abilitare la condivisione delle sottoreti, puoi fornire lo stesso collegamento di rete a più istanze Cloud Data Fusion. Al contrario, se vuoi dedicare una sottorete per una determinata istanza Cloud Data Fusion, devi fornire un collegamento di rete specifico da utilizzare dall'istanza Cloud Data Fusion.
Consigliato: per applicare un criterio di firewall uniforme a tutte le istanze Cloud Data Fusion, utilizza lo stesso collegamento di rete.
Se vuoi controllare il blocco CIDR /25 non raggiungibile da Cloud Data Fusion, specifica la proprietà unreachableCidrBlock quando crei l'istanza. Ad esempio:
alias authtoken="gcloud auth print-access-token"
EDITION=EDITION
PROJECT_ID=PROJECT_ID
REGION=REGION
CDF_ID=INSTANCE_ID
NETWORK_ATTACHMENT_ID=NETWORK_ATTACHMENT_ID
UNREACHABLE_RANGE=UNREACHABLE_RANGE
read -r -d '' BODY << EOM
{
"description": "PSC enabled instance",
"version": "6.10",
"type": "$EDITION",
"privateInstance": "true",
"networkConfig": {
"connectionType": "PRIVATE_SERVICE_CONNECT_INTERFACES",
"privateServiceConnectConfig": {
"unreachableCidrBlock": "$UNREACHABLE_RANGE",
"networkAttachment": "projects/$PROJECT_ID/regions/$REGION/networkAttachments/$NETWORK_ATTACHMENT_ID"
}
}
}
EOM
curl -H "Authorization: Bearer $(authtoken)" \
-H "Content-Type: application/json" \
-X POST -d "$BODY" "https://datafusion.googleapis.com/v1/projects/$PROJECT_ID/locations/$REGION/instances/?instanceId=$CDF_ID"
Sostituisci quanto segue:
EDITION: la versione di Cloud Data Fusion:BASIC,DEVELOPERoENTERPRISE.PROJECT_ID: l'ID del progetto.REGION: il nome della Google Cloud regione. Questa regione deve essere la stessa dell'istanza Cloud Data Fusion.INSTANCE_ID: l'ID dell'istanza.NETWORK_ATTACHMENT_ID: l'ID del collegamento alla rete.UNREACHABLE_RANGE: l'intervallo unreachable, ad esempio10.0.0.0/25.
Sicurezza
Questa sezione descrive la sicurezza tra Cloud Data Fusion e i consumatori.
Cloud Data Fusion per la sicurezza dei consumatori
Le interfacce Private Service Connect supportano le regole del firewall in uscita per controllare a cosa può accedere Cloud Data Fusion all'interno del VPC. Per ulteriori informazioni, consulta Limitare l'ingresso produttore-consumatore.
Sicurezza del consumatore per Cloud Data Fusion
Le VM Cloud Data Fusion con interfaccia Private Service Connect bloccano qualsiasi traffico proveniente dalla tua VPC e che non è un pacchetto di risposta.