Utiliser VPC Service Controls avec Cloud Data Fusion

Si vous prévoyez de créer un Instance Cloud Data Fusion avec une adresse IP privée, vous pouvez renforcer la sécurité en établissant d'abord un périmètre de sécurité pour l'instance à l'aide de VPC Service Controls (VPC-SC). Le périmètre de sécurité VPC-SC autour de l'instance Cloud Data Fusion privée et d'autres ressources Google Cloud permet de réduire le risque d'exfiltration de données. Par exemple, avec VPC Service Controls, si un pipeline Cloud Data Fusion lit les données à partir d'une ressource compatible, tel qu'un ensemble de données BigQuery, située au sein du périmètre, puis tente d'écrire la sortie sur une ressource située en dehors du périmètre, le pipeline échoue.

Les ressources Cloud Data Fusion sont exposées sur deux surfaces d'API :

  1. La surface de l'API du plan de contrôle datafusion.googleapis.com, qui vous permet d'effectuer des opérations au niveau de l'instance, telles que la création et la suppression d'instances.

  2. La surface de l'API du plan de données datafusion.googleusercontent.com (l'UI Web de Cloud Data Fusion dans la console Google Cloud), qui s'exécute sur une instance Cloud Data Fusion pour créer et exécuter des pipelines de données.

Vous configurez VPC Service Controls avec Cloud Data Fusion en limitant la connectivité à ces deux surfaces d'API.

Stratégies :

  • Les pipelines Cloud Data Fusion sont exécutés sur des clusters Dataproc. Pour protéger un cluster Dataproc avec un périmètre de service, suivez les instructions de la section configurer une connectivité privée afin de permettre au cluster de fonctionner au sein du périmètre.

  • N'exécutez pas de plug-ins qui utilisent les API Google Cloud non compatibles avec VPC Service Controls. Si vous utilisez des plug-ins non compatibles, Cloud Data Fusion bloque les appels d'API, ce qui entraîne l'échec de l'aperçu et de l'exécution du pipeline.

  • Pour utiliser Cloud Data Fusion dans un périmètre de service VPC Service Controls, ajoutez ou configurez plusieurs entrées DNS pour diriger les domaines suivants vers l'adresse IP virtuelle (VIP) restreinte :

    • datafusion.googleapis.com
    • *.datafusion.googleusercontent.com
    • *.datafusion.cloud.google.com

Limites :

  • Établissez le périmètre de sécurité de VPC Service Controls avant de créer votre instance privée Cloud Data Fusion. La protection périmétrique pour les instances créées avant la configuration de VPC Service Controls n'est pas disponible.

  • Actuellement, l'interface utilisateur du plan de données Cloud Data Fusion ne permet pas de spécifier des niveaux d'accès à l'aide de l'accès basé sur l'identité.

Restreindre les surfaces d'API Cloud Data Fusion

Restreindre la surface du plan de contrôle

Consultez la section Configurer une connectivité privée aux API et services Google pour restreindre la connectivité à la surface du plan de contrôle de l'API datafusion.googleapis.com.

Restreindre la surface du plan de données

Pour configurer la connectivité privée au plan de données de l'API, configurez les paramètres DNS en procédant comme suit pour les domaines *.datafusion.googleusercontent.com et *.datafusion.cloud.google.com.

  1. Créez une zone privée à l'aide de Cloud DNS :

    1. Type de zone : cochez privée
    2. Nom de zone : datafusiongoogleusercontentcom
    3. Nom DNS : datafusion.googleusercontent.com

    4. Réseau : sélectionnez le réseau IP privé que vous avez choisi lors de la création de votre instance Cloud Data Fusion.

      Renseigner les champs de zone.

  2. Sur la page Cloud DNS, cliquez sur le nom de votre zone DNS datafusiongoogleusercontent pour ouvrir la page Détails de la zone. Deux enregistrements sont répertoriés : un enregistrement NS et un enregistrement SOA. Utilisez Add Standard (Ajouter un jeu d'enregistrements standard) pour ajouter les deux jeux d'enregistrements suivants à votre zone DNS datafusiongoogleusercontent.

    1. Ajoutez un enregistrement CNAME : dans la boîte de dialogue Créer un jeu d'enregistrements, renseignez les champs suivants pour mapper le nom DNS *.datafusion.googleusercontent.com. au nom canonique datafusion.googleusercontent.com :

      • Nom DNS : "*.datafusion.googleusercontent.com"

      • Nom canonique : "datafusion.googleusercontent.com"

        Renseigner les champs de zone.

    2. Ajoutez un enregistrement A : dans une nouvelle boîte de dialogue Créer un jeu d'enregistrements, renseignez les champs suivants pour mapper le nom DNS datafusion.googleusercontent.com. aux adresses IP 199.36.153.4 - 199.36.153.7 :

      • Nom DNS : ".datafusion.googleusercontent.com"

      • Adresse IPv4 :

        • 199.36.153.4
        • 199.36.153.5
        • 199.36.153.6
        • 199.36.153.7
        Renseigner les champs de zone.

      La page Détails de la zone datafusiongoogleusercontent affiche les jeux d'enregistrements suivants :

      Renseigner les champs de zone.

  3. Suivez les étapes ci-dessus pour créer une zone DNS privée et ajouter un jeu d'enregistrements pour le domaine *.datafusion.cloud.google.com.

Étapes suivantes