Utilizzare i Controlli di servizio VPC con Cloud Data Fusion
Mantieni tutto organizzato con le raccolte
Salva e classifica i contenuti in base alle tue preferenze.
Se prevedi di creare un'istanza Cloud Data Fusion con un indirizzo IP privato,
puoi fornire ulteriore sicurezza stabilendo innanzitutto un perimetro di sicurezza
per l'istanza utilizzando VPC Service Controls (VPC-SC).
Il perimetro di sicurezza VPC-SC attorno all'istanza Cloud Data Fusion privata e ad altre risorse Google Cloud contribuisce a mitigare il rischio di esfiltrazione di dati. Ad esempio, con i controlli di servizio VPC, se una pipeline Cloud Data Fusion legge i dati da una risorsa supportata, come un set di dati BigQuery, all'interno del perimetro e poi tenta di scrivere l'output in una risorsa esterna al perimetro, la pipeline non andrà a buon fine.
Le risorse di Cloud Data Fusion sono esposte su due interfacce API:
L'interfaccia API del datafusion.googleapis.com control plane, che consente di eseguire operazioni a livello di istanza, come la creazione e l'eliminazione di istanze.
La piattaforma API del piano di dati datafusion.googleusercontent.com (interfaccia utente web di Cloud Data Fusion nella console Google Cloud ), che viene eseguita su un'istanza Cloud Data Fusion per creare ed eseguire pipeline di dati.
Configura i Controlli di servizio VPC con Cloud Data Fusion limitandone la connettività a entrambe queste interfacce API.
Strategie:
Le pipeline di Cloud Data Fusion vengono eseguite sui cluster Dataproc.
Per proteggere un cluster Dataproc con un perimetro di servizio,
segui le istruzioni per la
configurazione della connettività privata
per consentire al cluster di funzionare all'interno del perimetro.
Non utilizzare plug-in che utilizzano Google Cloud API non supportate da
Controlli di servizio VPC.
Se utilizzi plug-in non supportati, Cloud Data Fusion bloccherà le chiamate API,
con conseguente errore di anteprima ed esecuzione della pipeline.
Per utilizzare Cloud Data Fusion all'interno di un perimetro di servizio VPC Service Controls, aggiungi o configura diverse voci DNS per indirizzare i seguenti domini all'indirizzo IP virtuale (VIP) limitato:
datafusion.googleapis.com
*.datafusion.googleusercontent.com
*.datafusion.cloud.google.com
Limitazioni:
Stabilisci il perimetro di sicurezza dei Controlli di servizio VPC prima di creare l'istanza privata Cloud Data Fusion. La protezione perimetrale per le istanze create prima della configurazione dei Controlli di servizio VPC non è supportata.
Al momento, l'interfaccia utente del piano dati di Cloud Data Fusion non supporta la specifica dei livelli di accesso utilizzando l'accesso basato sull'identità.
Limitare le piattaforme dell'API Cloud Data Fusion
Limitazione della superficie del piano di controllo
Per configurare la connettività privata al piano dati dell'API,
configura il DNS completando i seguenti passaggi sia per i domini *.datafusion.googleusercontent.com che per *.datafusion.cloud.google.com.
Rete: seleziona la rete IP privata che hai scelto quando hai creato l'istanza Cloud Data Fusion.
Nella pagina Cloud DNS, fai clic sul nome della zona DNS datafusiongoogleusercontent per aprire la pagina Dettagli zona. Sono elencati due record: un record NS e un record SOA.
Utilizza Aggiungi standard per aggiungere i seguenti due set di record alla zona DNS datafusiongoogleusercontent.
Aggiungi un record CNAME: nella finestra di dialogo Crea set di record, compila i seguenti campi per mappare il nome DNS *.datafusion.googleusercontent.com. al nome canonico datafusion.googleusercontent.com:
Nome DNS: "*.datafusion.googleusercontent.com"
Nome canonico: "datafusion.googleusercontent.com"
Aggiungi un record A: in una nuova finestra di dialogo Crea set di record, compila i seguenti campi per mappare il nome DNS datafusion.googleusercontent.com. agli indirizzi IP 199.36.153.4-199.36.153.7:
Nome DNS: ".datafusion.googleusercontent.com"
Indirizzo IPv4:
199.36.153.4
199.36.153.5
199.36.153.6
199.36.153.7
La pagina datafusiongoogleusercontentDettagli zona mostra i seguenti set di record:
Segui i passaggi precedenti per creare una zona DNS privata e aggiungere un insieme di record per il dominio *.datafusion.cloud.google.com.
[[["Facile da capire","easyToUnderstand","thumb-up"],["Il problema è stato risolto","solvedMyProblem","thumb-up"],["Altra","otherUp","thumb-up"]],[["Difficile da capire","hardToUnderstand","thumb-down"],["Informazioni o codice di esempio errati","incorrectInformationOrSampleCode","thumb-down"],["Mancano le informazioni o gli esempi di cui ho bisogno","missingTheInformationSamplesINeed","thumb-down"],["Problema di traduzione","translationIssue","thumb-down"],["Altra","otherDown","thumb-down"]],["Ultimo aggiornamento 2025-09-04 UTC."],[[["\u003cp\u003eVPC Service Controls enhances security for private Cloud Data Fusion instances by creating a security perimeter to mitigate data exfiltration risks.\u003c/p\u003e\n"],["\u003cp\u003eTo utilize VPC Service Controls with Cloud Data Fusion, it is necessary to restrict connectivity to both the \u003ccode\u003edatafusion.googleapis.com\u003c/code\u003e control plane API surface and the \u003ccode\u003edatafusion.googleusercontent.com\u003c/code\u003e data plane API surface.\u003c/p\u003e\n"],["\u003cp\u003eCloud Data Fusion's service perimeter can be configured by setting up private connectivity for Dataproc clusters and avoiding unsupported plugins.\u003c/p\u003e\n"],["\u003cp\u003eSetting up VPC Service Controls for Cloud Data Fusion instances involves configuring DNS entries to point \u003ccode\u003edatafusion.googleapis.com\u003c/code\u003e, \u003ccode\u003e*.datafusion.googleusercontent.com\u003c/code\u003e, and \u003ccode\u003e*.datafusion.cloud.google.com\u003c/code\u003e domains to the restricted VIP.\u003c/p\u003e\n"],["\u003cp\u003eVPC Service Control perimeters should be established before creating a private Cloud Data Fusion instance, as protecting existing instances created before the perimeter is set up is unsupported.\u003c/p\u003e\n"]]],[],null,["# Use VPC Service Controls with Cloud Data Fusion\n\nIf you plan to create a [Cloud Data Fusion instance with a private IP address](/data-fusion/docs/how-to/create-private-ip),\nyou can provide additional security by first establishing a security perimeter\nfor the instance using [VPC Service Controls (VPC-SC)](/vpc-service-controls/docs/overview).\nThe VPC-SC security perimeter around the private\nCloud Data Fusion instance and other Google Cloud resources helps\nmitigate the risk of data exfiltration. For example, with\nVPC Service Controls, if a Cloud Data Fusion pipeline reads data\nfrom a [supported resource](/vpc-service-controls/docs/supported-products),\nsuch as a BigQuery dataset, located within the perimeter,\nthen tries to write the output to a resource outside the perimeter, the pipeline\nwill fail.\n\nCloud Data Fusion resources are exposed on two API surfaces:\n\n1. The `datafusion.googleapis.com` control plane API surface, which\n allows you to perform instance-level operations, such as the creation and\n deletion of instances.\n\n2. The `datafusion.googleusercontent.com` data plane API surface (the\n [Cloud Data Fusion Web UI](/data-fusion/docs/concepts/overview#using_the_code-free_web_ui)\n in the Google Cloud console), which executes on a Cloud Data Fusion\n instance to create and execute data pipelines.\n\nYou set up VPC Service Controls with Cloud Data Fusion by\nrestricting connectivity to both of these API surfaces.\n\nStrategies:\n\n- Cloud Data Fusion pipelines are executed on Dataproc clusters.\n To protect a Dataproc cluster with a service perimeter,\n follow the instructions for\n [setting up private connectivity](/vpc-service-controls/docs/set-up-private-connectivity)\n to allow the cluster to function inside the perimeter.\n\n- Don't use plugins that use Google Cloud APIs that are not [supported by\n VPC Service Controls](/vpc-service-controls/docs/supported-products).\n If you use unsupported plugins, Cloud Data Fusion will block the API calls,\n resulting in pipeline preview and execution failure.\n\n- To use Cloud Data Fusion within a VPC Service Controls service\n perimeter, add or configure several DNS entries to point the\n following domains to the restricted VIP (Virtual IP address):\n\n - `datafusion.googleapis.com`\n - `*.datafusion.googleusercontent.com`\n - `*.datafusion.cloud.google.com`\n\nLimitations:\n\n- Establish the VPC Service Controls security perimeter before creating your\n Cloud Data Fusion private instance. Perimeter protection for\n instances created prior to setting up VPC Service Controls is not\n supported.\n\n- Currently, the Cloud Data Fusion data plane UI does not support\n specifying access levels using [identity based access](/access-context-manager/docs/create-basic-access-level#members-example).\n\nRestricting Cloud Data Fusion API surfaces\n------------------------------------------\n\n### Restricting the control plane surface\n\nSee [Setting up private connectivity to Google APIs and services](/vpc-service-controls/docs/set-up-private-connectivity)\nto restrict connectivity to the `datafusion.googleapis.com` API control plane\nsurface.\n\n### Restricting the data plane surface\n\nTo set up private connectivity to the API data plane,\nconfigure DNS by completing the following steps for both the `*.datafusion.googleusercontent.com` and `*.datafusion.cloud.google.com` domains.\n\n1. Create a new private [zone using Cloud DNS](https://console.cloud.google.com/net-services/dns/zones):\n\n 1. Zone type: Check **private**\n 2. Zone name: datafusiongoogleusercontentcom\n 3. DNS name: datafusion.googleusercontent.com\n 4. Network: Select the private IP network you chose when you created your\n Cloud Data Fusion instance.\n\n2. From the [Cloud DNS](https://console.cloud.google.com/net-services/dns/zones) page, click your\n `datafusiongoogleusercontent` DNS zone name to open the\n **Zone details** page. Two records are listed: an NS and an SOA record.\n Use **Add Standard** to add the following two record sets to your\n datafusiongoogleusercontent DNS zone.\n\n 1. Add a CNAME record: In the **Create record set** dialog, fill\n in the following fields to map DNS name `*.datafusion.googleusercontent.com.`\n to the canonical name `datafusion.googleusercontent.com`:\n\n - DNS name: \"\\*.datafusion.googleusercontent.com\"\n - Canonical name: \"datafusion.googleusercontent.com\"\n\n 2. Add an A record: In a new **Create record set** dialog, fill\n in the following fields to map DNS name `datafusion.googleusercontent.com.`\n to IP addresses `199.36.153.4` - `199.36.153.7`:\n\n - DNS name: \".datafusion.googleusercontent.com\"\n - IPv4 address:\n\n - 199.36.153.4\n - 199.36.153.5\n - 199.36.153.6\n - 199.36.153.7\n\n The `datafusiongoogleusercontent` **Zone details** page shows the\n following record sets:\n3. Follow the above steps to create a private DNS zone and add a record set\n for the `*.datafusion.cloud.google.com` domain.\n\nWhat's next\n-----------\n\n- Learn about [Creating a private instance](/data-fusion/docs/how-to/create-private-ip).\n- Learn more about [VPC Service Controls](/vpc-service-controls/docs)."]]
