Cette page explique comment ajouter, mettre à niveau et supprimer des buckets Cloud Storage et des ensembles de données BigQuery en tant qu'éléments dans des zones Dataplex existantes.
Présentation
Un composant est mappé sur des données stockées dans Cloud Storage ou BigQuery. Vous pouvez mapper des données stockées dans des projets Google Cloud distincts en tant qu'éléments dans une seule zone d'un lac. Vous pouvez associer des buckets Cloud Storage ou des ensembles de données BigQuery existants pour les gérer depuis le lac.
Avant de commencer
Si vous ne l'avez pas déjà fait, créez un lac et une zone dans ce lac.
La plupart des commandes
gcloud lakesnécessitent un emplacement. Vous pouvez le spécifier à l'aide de l'option--location.
Rôles requis
Pour supprimer des composants, attribuez les rôles IAM contenant les autorisations IAM
dataplex.lakes.delete,dataplex.zones.deleteoudataplex.assets.delete. Les rôlesroles/dataplex.adminetroles/dataplex.editorspécifiques à Dataplex peuvent être utilisés pour accorder ces autorisations.Pour ajouter des composants, accordez les rôles IAM contenant les autorisations
createàdataplex.lakes.create,dataplex.zones.createoudataplex.assets.create. Les rôlesroles/dataplex.adminetroles/dataplex.editorcontiennent ces autorisations.Vous pouvez également accorder une autorisation à des utilisateurs ou à des groupes à l'aide des anciens rôles
roles/owneretroles/editor.Vous devez autoriser le service Dataplex sur les ressources associées au lac Dataplex. L'autorisation est accordée automatiquement et implicitement pour les ressources du projet dans lequel le lac est créé. Pour les autres projets, autorisez explicitement le service Dataplex sur les ressources.
Pour en savoir plus, consultez la page IAM et contrôle des accès Dataplex.
Attribuer des rôles pour les buckets Cloud Storage
Pour associer un bucket Cloud Storage d'un autre projet à votre lac, vous devez accorder au compte de service Dataplex (service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com, récupéré sur la page d'informations du lac dans la console) le rôle de compte de service Dataplex (roles/dataplex.serviceAgent) dans le projet contenant le bucket. Ce rôle fournit au service Dataplex le rôle d'administrateur requis au niveau du bucket afin que des autorisations puissent être définies sur le bucket lui-même.
Attribuer des rôles pour les ensembles de données BigQuery
Pour associer un ensemble de données BigQuery d'un autre projet à votre lac de données, vous devez attribuer au compte de service Dataplex le rôle d'administrateur BigQuery sur l'ensemble de données.
Considérations concernant VPC Service Controls
Dataplex ne s'oppose pas aux périmètres VPC Service Controls. Avant d'ajouter un composant au lac, assurez-vous que le bucket ou le jeu de données sous-jacent se trouve sur le même réseau VPC Service Controls que le lac.
Pour en savoir plus, consultez VPC Service Controls avec Dataplex.
Ajouter un élément
Si la région du lac Dataplex ne chevauche pas l'une des régions des buckets Cloud Storage, vous ne pouvez pas ajouter le bucket à une zone de votre lac.
Pour en savoir plus sur l'emplacement régional d'un élément Cloud Storage et sur la façon dont Dataplex gère l'emplacement d'un bucket lors de la création du jeu de données de publication, consultez la section Ressources régionales.
Pour ajouter un composant, procédez comme suit:
Console
Dans la console Google Cloud , accédez à la page "Dataplex".
Sur la page Gérer, cliquez sur le lac auquel vous souhaitez ajouter un bucket Cloud Storage ou un ensemble de données BigQuery. La page du lac s'ouvre.
Dans l'onglet Zones, cliquez sur le nom de la zone de données à laquelle vous souhaitez ajouter l'élément. La page "Zone de données" de cette zone de données s'ouvre.
Dans l'onglet Éléments, cliquez sur + Ajouter des éléments. La page Ajouter des composants s'ouvre.
Cliquez sur Ajouter un élément.
Dans le champ Type, sélectionnez Ensemble de données BigQuery ou Bucket Cloud Storage.
Dans le champ Nom à afficher, saisissez un nom pour le nouvel élément.
Dans le champ ID, saisissez un identifiant unique pour l'élément.
Facultatif : saisissez une Description.
Dans le champ Ensemble de données ou Bucket (selon le type de votre composant), cliquez sur Parcourir pour rechercher et sélectionner votre bucket Cloud Storage ou votre ensemble de données BigQuery.
Facultatif: Si votre type d'élément est Bucket Cloud Storage et que vous souhaitez que Dataplex le gère, cochez la case Passer à la gestion. Si vous choisissez cette option, vous n'avez pas besoin de mettre à niveau l'élément séparément. Cette option n'est pas disponible pour les ensembles de données BigQuery.
Cliquez sur Continuer.
Choisissez les autres valeurs de paramètre. Pour en savoir plus sur les paramètres de sécurité, consultez la section Sécurité du lac.
Cliquez sur Envoyer.
Vérifiez que vous êtes revenu sur la page de la zone de données et que votre nouvel élément apparaît dans la liste des éléments.
REST
Pour ajouter un élément, utilisez la méthode lakes.zones.assets.create.
Une fois l'ajout réussi, la zone de données passe automatiquement à l'état Actif. En cas d'échec, la zone de données est restaurée à son état opérationnel précédent.
Mettre à niveau un composant de bucket Cloud Storage
Lorsque vous ajoutez un composant de type bucket Cloud Storage, Dataplex publie automatiquement des tables externes BigQuery pour les tables hébergées dans le composant.
Lorsque vous mettez à niveau un composant de bucket Cloud Storage, Dataplex supprime les tables externes associées et crée des tables BigLake. Les tables BigLake offrent une sécurité plus précise, y compris au niveau des lignes, des colonnes et du masquage dynamique des données.
Pour mettre à niveau un composant de bucket Cloud Storage, procédez comme suit:
Console
Dans la console Google Cloud , accédez à la page "Dataplex".
Sur la page Gérer, cliquez sur le nom du lac. La page du lac s'ouvre.
Dans l'onglet Zones, cliquez sur le nom de la zone de données. La page de la zone de données s'ouvre.
Dans l'onglet Éléments, cliquez sur le nom de l'élément que vous souhaitez mettre à niveau.
Cliquez sur Passer à la gestion.
REST
Pour mettre à niveau un élément de bucket, utilisez la méthode lakes.zones.assets.patch.
Réduire la qualité d'un élément de bucket Cloud Storage
Lorsque vous passez d'un composant de bucket Cloud Storage à un autre, Dataplex supprime les tables BigLake associées et crée des tables externes.
Console
Dans la console Google Cloud , accédez à la page "Dataplex".
Sur la page Gérer, cliquez sur le nom du lac. La page du lac s'ouvre.
Dans l'onglet Zones, cliquez sur le nom de la zone de données. La page de la zone de données s'ouvre.
Dans l'onglet Éléments, cliquez sur le nom de l'élément que vous souhaitez mettre à niveau.
Cliquez sur Rétrograder depuis la version gérée.
REST
Pour rétrograder un élément de bucket, utilisez la méthode lakes.zones.assets.patch. Assurez-vous de définir le champ readAccessMode sur DIRECT dans ResourceSpec.
Supprimer un composant
Supprimez l'asset de la zone ou du lac de données avant de l'associer à un autre.
Pour supprimer un composant, procédez comme suit:
Console
Dans la console Google Cloud , accédez à la page "Dataplex".
Sur la page Gérer, cliquez sur le lac à partir duquel vous souhaitez supprimer un bucket Cloud Storage ou un ensemble de données BigQuery. La page du lac s'ouvre.
Dans l'onglet Zones, cliquez sur le nom de la zone de données à partir de laquelle vous souhaitez supprimer le bucket Cloud Storage ou l'ensemble de données BigQuery. La page "Zone de données" de cette zone de données s'ouvre.
Dans l'onglet Éléments, sélectionnez l'élément en cochant la case située à gauche de son nom.
Cliquez sur Supprimer l'élément.
Dans la boîte de dialogue de confirmation, cliquez sur Supprimer.
REST
Pour supprimer un bucket, utilisez la méthode lakes.zones,assets.delete.
Étape suivante
- En savoir plus sur la découverte de données
- Découvrez comment créer un lac.
- En savoir plus sur Cloud Audit Logging