Utiliser VPC Service Controls avec Cloud Data Fusion
Restez organisé à l'aide des collections
Enregistrez et classez les contenus selon vos préférences.
Si vous prévoyez de créer un Instance Cloud Data Fusion avec une adresse IP privée, vous pouvez renforcer la sécurité en établissant d'abord un périmètre de sécurité pour l'instance à l'aide de VPC Service Controls (VPC-SC).
Le périmètre de sécurité VPC-SC autour de l'instance Cloud Data Fusion privée et d'autres Google Cloud ressources permet de réduire le risque d'exfiltration de données. Par exemple, avec VPC Service Controls, si un pipeline Cloud Data Fusion lit les données à partir d'une ressource compatible, tel qu'un ensemble de données BigQuery, située au sein du périmètre, puis tente d'écrire la sortie sur une ressource située en dehors du périmètre, le pipeline échoue.
Les ressources Cloud Data Fusion sont exposées sur deux surfaces d'API :
La surface de l'API du plan de contrôle datafusion.googleapis.com, qui vous permet d'effectuer des opérations au niveau de l'instance, telles que la création et la suppression d'instances.
La surface de l'API du plan de données datafusion.googleusercontent.com (l'interface utilisateur Web de Cloud Data Fusion dans la console Google Cloud ), qui s'exécute sur une instance Cloud Data Fusion pour créer et exécuter des pipelines de données.
Vous configurez VPC Service Controls avec Cloud Data Fusion en limitant la connectivité à ces deux surfaces d'API.
Stratégies :
Les pipelines Cloud Data Fusion sont exécutés sur des clusters Dataproc.
Pour protéger un cluster Dataproc avec un périmètre de service, suivez les instructions de la section configurer une connectivité privée afin de permettre au cluster de fonctionner au sein du périmètre.
N'exécutez pas de plug-ins qui utilisent des API Google Cloud non compatibles avec VPC Service Controls.
Si vous utilisez des plug-ins non compatibles, Cloud Data Fusion bloque les appels d'API, ce qui entraîne l'échec de l'aperçu et de l'exécution du pipeline.
Pour utiliser Cloud Data Fusion dans un périmètre de service VPC Service Controls, ajoutez ou configurez plusieurs entrées DNS pour diriger les domaines suivants vers l'adresse IP virtuelle (VIP) restreinte :
datafusion.googleapis.com
*.datafusion.googleusercontent.com
*.datafusion.cloud.google.com
Limites :
Établissez le périmètre de sécurité de VPC Service Controls avant de créer votre instance privée Cloud Data Fusion. La protection périmétrique pour les instances créées avant la configuration de VPC Service Controls n'est pas disponible.
Actuellement, l'interface utilisateur du plan de données Cloud Data Fusion ne permet pas de spécifier des niveaux d'accès à l'aide de l'accès basé sur l'identité.
Pour configurer la connectivité privée au plan de données de l'API, configurez les paramètres DNS en procédant comme suit pour les domaines *.datafusion.googleusercontent.com et *.datafusion.cloud.google.com.
Réseau : sélectionnez le réseau IP privé que vous avez choisi lors de la création de votre instance Cloud Data Fusion.
Sur la page Cloud DNS, cliquez sur le nom de votre zone DNS datafusiongoogleusercontent pour ouvrir la page Détails de la zone. Deux enregistrements sont répertoriés : un enregistrement NS et un enregistrement SOA.
Utilisez Ajouter standard pour ajouter les deux jeux d'enregistrements suivants à votre zone DNS datafusiongoogleusercontent.
Ajoutez un enregistrement CNAME : dans la boîte de dialogue Créer un jeu d'enregistrements, renseignez les champs suivants pour mapper le nom DNS *.datafusion.googleusercontent.com. au nom canonique datafusion.googleusercontent.com :
Nom DNS : "*.datafusion.googleusercontent.com"
Nom canonique : "datafusion.googleusercontent.com"
Ajoutez un enregistrement A : dans une nouvelle boîte de dialogue Créer un jeu d'enregistrements, renseignez les champs suivants pour mapper le nom DNS datafusion.googleusercontent.com. aux adresses IP 199.36.153.4 - 199.36.153.7 :
Nom DNS : ".datafusion.googleusercontent.com"
Adresse IPv4 :
199.36.153.4
199.36.153.5
199.36.153.6
199.36.153.7
La page Détails de la zonedatafusiongoogleusercontent affiche les jeux d'enregistrements suivants :
Suivez les étapes ci-dessus pour créer une zone DNS privée et ajouter un jeu d'enregistrements pour le domaine *.datafusion.cloud.google.com.
Sauf indication contraire, le contenu de cette page est régi par une licence Creative Commons Attribution 4.0, et les échantillons de code sont régis par une licence Apache 2.0. Pour en savoir plus, consultez les Règles du site Google Developers. Java est une marque déposée d'Oracle et/ou de ses sociétés affiliées.
Dernière mise à jour le 2025/09/04 (UTC).
[[["Facile à comprendre","easyToUnderstand","thumb-up"],["J'ai pu résoudre mon problème","solvedMyProblem","thumb-up"],["Autre","otherUp","thumb-up"]],[["Difficile à comprendre","hardToUnderstand","thumb-down"],["Informations ou exemple de code incorrects","incorrectInformationOrSampleCode","thumb-down"],["Il n'y a pas l'information/les exemples dont j'ai besoin","missingTheInformationSamplesINeed","thumb-down"],["Problème de traduction","translationIssue","thumb-down"],["Autre","otherDown","thumb-down"]],["Dernière mise à jour le 2025/09/04 (UTC)."],[[["\u003cp\u003eVPC Service Controls enhances security for private Cloud Data Fusion instances by creating a security perimeter to mitigate data exfiltration risks.\u003c/p\u003e\n"],["\u003cp\u003eTo utilize VPC Service Controls with Cloud Data Fusion, it is necessary to restrict connectivity to both the \u003ccode\u003edatafusion.googleapis.com\u003c/code\u003e control plane API surface and the \u003ccode\u003edatafusion.googleusercontent.com\u003c/code\u003e data plane API surface.\u003c/p\u003e\n"],["\u003cp\u003eCloud Data Fusion's service perimeter can be configured by setting up private connectivity for Dataproc clusters and avoiding unsupported plugins.\u003c/p\u003e\n"],["\u003cp\u003eSetting up VPC Service Controls for Cloud Data Fusion instances involves configuring DNS entries to point \u003ccode\u003edatafusion.googleapis.com\u003c/code\u003e, \u003ccode\u003e*.datafusion.googleusercontent.com\u003c/code\u003e, and \u003ccode\u003e*.datafusion.cloud.google.com\u003c/code\u003e domains to the restricted VIP.\u003c/p\u003e\n"],["\u003cp\u003eVPC Service Control perimeters should be established before creating a private Cloud Data Fusion instance, as protecting existing instances created before the perimeter is set up is unsupported.\u003c/p\u003e\n"]]],[],null,["# Use VPC Service Controls with Cloud Data Fusion\n\nIf you plan to create a [Cloud Data Fusion instance with a private IP address](/data-fusion/docs/how-to/create-private-ip),\nyou can provide additional security by first establishing a security perimeter\nfor the instance using [VPC Service Controls (VPC-SC)](/vpc-service-controls/docs/overview).\nThe VPC-SC security perimeter around the private\nCloud Data Fusion instance and other Google Cloud resources helps\nmitigate the risk of data exfiltration. For example, with\nVPC Service Controls, if a Cloud Data Fusion pipeline reads data\nfrom a [supported resource](/vpc-service-controls/docs/supported-products),\nsuch as a BigQuery dataset, located within the perimeter,\nthen tries to write the output to a resource outside the perimeter, the pipeline\nwill fail.\n\nCloud Data Fusion resources are exposed on two API surfaces:\n\n1. The `datafusion.googleapis.com` control plane API surface, which\n allows you to perform instance-level operations, such as the creation and\n deletion of instances.\n\n2. The `datafusion.googleusercontent.com` data plane API surface (the\n [Cloud Data Fusion Web UI](/data-fusion/docs/concepts/overview#using_the_code-free_web_ui)\n in the Google Cloud console), which executes on a Cloud Data Fusion\n instance to create and execute data pipelines.\n\nYou set up VPC Service Controls with Cloud Data Fusion by\nrestricting connectivity to both of these API surfaces.\n\nStrategies:\n\n- Cloud Data Fusion pipelines are executed on Dataproc clusters.\n To protect a Dataproc cluster with a service perimeter,\n follow the instructions for\n [setting up private connectivity](/vpc-service-controls/docs/set-up-private-connectivity)\n to allow the cluster to function inside the perimeter.\n\n- Don't use plugins that use Google Cloud APIs that are not [supported by\n VPC Service Controls](/vpc-service-controls/docs/supported-products).\n If you use unsupported plugins, Cloud Data Fusion will block the API calls,\n resulting in pipeline preview and execution failure.\n\n- To use Cloud Data Fusion within a VPC Service Controls service\n perimeter, add or configure several DNS entries to point the\n following domains to the restricted VIP (Virtual IP address):\n\n - `datafusion.googleapis.com`\n - `*.datafusion.googleusercontent.com`\n - `*.datafusion.cloud.google.com`\n\nLimitations:\n\n- Establish the VPC Service Controls security perimeter before creating your\n Cloud Data Fusion private instance. Perimeter protection for\n instances created prior to setting up VPC Service Controls is not\n supported.\n\n- Currently, the Cloud Data Fusion data plane UI does not support\n specifying access levels using [identity based access](/access-context-manager/docs/create-basic-access-level#members-example).\n\nRestricting Cloud Data Fusion API surfaces\n------------------------------------------\n\n### Restricting the control plane surface\n\nSee [Setting up private connectivity to Google APIs and services](/vpc-service-controls/docs/set-up-private-connectivity)\nto restrict connectivity to the `datafusion.googleapis.com` API control plane\nsurface.\n\n### Restricting the data plane surface\n\nTo set up private connectivity to the API data plane,\nconfigure DNS by completing the following steps for both the `*.datafusion.googleusercontent.com` and `*.datafusion.cloud.google.com` domains.\n\n1. Create a new private [zone using Cloud DNS](https://console.cloud.google.com/net-services/dns/zones):\n\n 1. Zone type: Check **private**\n 2. Zone name: datafusiongoogleusercontentcom\n 3. DNS name: datafusion.googleusercontent.com\n 4. Network: Select the private IP network you chose when you created your\n Cloud Data Fusion instance.\n\n2. From the [Cloud DNS](https://console.cloud.google.com/net-services/dns/zones) page, click your\n `datafusiongoogleusercontent` DNS zone name to open the\n **Zone details** page. Two records are listed: an NS and an SOA record.\n Use **Add Standard** to add the following two record sets to your\n datafusiongoogleusercontent DNS zone.\n\n 1. Add a CNAME record: In the **Create record set** dialog, fill\n in the following fields to map DNS name `*.datafusion.googleusercontent.com.`\n to the canonical name `datafusion.googleusercontent.com`:\n\n - DNS name: \"\\*.datafusion.googleusercontent.com\"\n - Canonical name: \"datafusion.googleusercontent.com\"\n\n 2. Add an A record: In a new **Create record set** dialog, fill\n in the following fields to map DNS name `datafusion.googleusercontent.com.`\n to IP addresses `199.36.153.4` - `199.36.153.7`:\n\n - DNS name: \".datafusion.googleusercontent.com\"\n - IPv4 address:\n\n - 199.36.153.4\n - 199.36.153.5\n - 199.36.153.6\n - 199.36.153.7\n\n The `datafusiongoogleusercontent` **Zone details** page shows the\n following record sets:\n3. Follow the above steps to create a private DNS zone and add a record set\n for the `*.datafusion.cloud.google.com` domain.\n\nWhat's next\n-----------\n\n- Learn about [Creating a private instance](/data-fusion/docs/how-to/create-private-ip).\n- Learn more about [VPC Service Controls](/vpc-service-controls/docs)."]]
