Cette page décrit le cas d'utilisation où vous contrôlez l'accès aux ressources Google Cloud au niveau du nom d'espace lorsque vous migrez des données de Cloud Storage vers BigQuery.
Pour contrôler l'accès aux ressources Google Cloud, les espaces de noms dans Cloud Data Fusion utilisent par défaut l'agent de service de l'API Cloud Data Fusion.
Pour une meilleure isolation des données, vous pouvez associer (appelé compte de service par espace de noms) avec chaque espace de noms. Le compte de service IAM personnalisé, qui peut être différent pour les différents espaces de noms, vous permet de contrôler l'accès Ressources Google Cloud entre les espaces de noms pour la conception du pipeline opérations dans Cloud Data Fusion, telles que l'aperçu du pipeline, Wrangler et la validation du pipeline.
Pour en savoir plus, consultez la section Contrôle des accès avec des comptes de service d'espace de noms.
Scénario
Dans ce cas d'utilisation, votre service marketing migre des données de Cloud Storage vers BigQuery à l'aide de Cloud Data Fusion.
Le service marketing compte trois équipes : A, B et C. Votre objectif est d'établir une approche structurée pour contrôler l'accès aux données dans Cloud Storage via des espaces de noms Cloud Data Fusion correspondant à chaque équipe : A, B et C, respectivement.
Solution
Les étapes suivantes expliquent comment contrôler l'accès aux ressources Google Cloud avec les comptes de service d'espace de noms, ce qui empêche tout accès non autorisé entre les datastores de différentes équipes.
Associer un compte de service Identity and Access Management à chaque espace de noms
Configurez un compte de service IAM dans l'espace de noms pour chaque équipe (voir Configurer un compte de service d'espace de noms) :
Configurez le contrôle des accès en ajoutant un compte de service personnalisé pour l'équipe A (par exemple,
team-a@pipeline-design-time-project.iam.gserviceaccount.com
).Répétez les étapes de configuration pour les équipes B et C afin de configurer le contrôle des accès avec des comptes de service personnalisés similaires.
Limiter l'accès aux buckets Cloud Storage
Limitez l'accès aux buckets Cloud Storage en accordant les autorisations appropriées :
- Attribuez le rôle
storage.buckets.list
au compte de service IAM. requise pour lister les buckets Cloud Storage du projet. Pour en savoir plus, consultez la section Répertorier des buckets. Accordez au compte de service IAM l'autorisation d'accéder aux objets de buckets spécifiques.
Par exemple, attribuez le rôle Lecteur des objets de l'espace de stockage au compte de service IAM associé au nom d'espace
team_A
sur le bucketteam_a1
. Cette autorisation permet à l'équipe A d'afficher et lister les objets et les dossiers gérés, ainsi que leurs métadonnées, dans un environnement isolé au moment de la conception.
Créer la connexion Cloud Storage dans les espaces de noms respectifs
Créez une connexion Cloud Storage dans l'espace de noms de chaque équipe:
Dans la console Google Cloud, accédez à Cloud Data Fusion Instances et ouvrez une instance dans le Web Cloud Data Fusion. de commande.
Cliquez sur Administrateur système > Configuration > Espaces de noms.
Cliquez sur l'espace de noms que vous souhaitez utiliser, par exemple celui de l'équipe A.
Cliquez sur l'onglet Connexions, puis sur Ajouter une connexion.
Sélectionnez GCS et configurez la connexion.
Créez une connexion Cloud Storage pour chaque espace de noms en répétant les étapes précédentes. Chaque équipe peut alors interagir avec un une copie de cette ressource pour leurs opérations au moment de la conception.
Valider l'isolation au moment de la conception pour chaque espace de noms
L'équipe A peut valider l'isolation lors de la conception en accédant aux buckets Cloud Storage dans leurs espaces de noms respectifs :
Dans la console Google Cloud, accédez à la page Instances de Cloud Data Fusion, puis ouvrez une instance dans l'interface Web de Cloud Data Fusion.
Cliquez sur Administrateur système > Configuration > Espaces de noms.
Sélectionnez un espace de noms, par exemple l'espace de noms de l'équipe A (
team_A
).Cliquez sur > Wrangler.
. MenuCliquez sur GCS.
Dans la liste des buckets, cliquez sur le bucket
team_a1
.Vous pouvez afficher la liste des buckets, car l'espace de noms de l'équipe A dispose Autorisation
storage.buckets.list
.Lorsque vous cliquez sur le bucket, vous pouvez afficher son contenu, car l'espace de noms de l'équipe A dispose du rôle Lecteur des objets de l'espace de stockage.
Revenez à la liste des buckets et cliquez sur le bucket
team_b1
outeam_c1
. L'accès est limité, car vous avez isolé cette ressource de temps de conception pour l'équipe A à l'aide de son compte de service d'espace de noms.
Étape suivante
- En savoir plus sur les fonctionnalités de sécurité dans Cloud Data Fusion