Cette page explique comment ajouter, mettre à niveau et supprimer des buckets Cloud Storage et Ensembles de données BigQuery en tant qu'éléments dans des zones Dataplex existantes
Présentation
Un élément correspond aux données stockées dans Cloud Storage ou BigQuery. Toi peuvent mapper les données stockées dans des projets Google Cloud distincts en tant qu'éléments dans une zone spécifique au sein d'un lac. Vous pouvez associer des buckets Cloud Storage existants Ensembles de données BigQuery à gérer depuis le lac.
Avant de commencer
Si vous ne l'avez pas déjà fait, créez un lac et un zone dans ce lac.
La plupart des commandes
gcloud lakes
nécessitent un emplacement. Vous pouvez spécifier l'emplacement à l'aide de l'indicateur--location
.
Contrôle des accès
Pour supprimer des éléments, accordez aux rôles IAM contenant les autorisations
dataplex.lakes.delete
,dataplex.zones.delete
oudataplex.assets.delete
. Dataplex rôlesroles/dataplex.admin
etroles/dataplex.editor
spécifiques pour accorder ces autorisations.Pour ajouter des éléments, accordez aux rôles IAM contenant les autorisations
create
:dataplex.lakes.create
,dataplex.zones.create
oudataplex.assets.create
. Les rôlesroles/dataplex.admin
etroles/dataplex.editor
contiennent les éléments suivants : autorisations.Vous pouvez également accorder des autorisations à des utilisateurs ou à des groupes à l'aide de l'
roles/owner
etroles/editor
anciens rôles.Vous devez autoriser le service Dataplex pour les ressources au lac Dataplex. L'autorisation est automatiquement accordé implicitement aux ressources du projet dans lequel le lac est créé. Pour les autres projets, autoriser le service Dataplex explicitement sur les ressources.
Pour en savoir plus, consultez la page IAM et contrôle des accès Dataplex.
Attribuer des rôles aux buckets Cloud Storage
Pour associer un bucket Cloud Storage d'un autre projet à votre lac, vous devez
doit accorder au compte de service Dataplex
(service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com
,
récupéré à partir de la page d'informations du lac dans la console) le Dataplex
rôle de compte de service (roles/dataplex.serviceAgent
) dans le projet que
qui contient le bucket. Ce rôle fournit
service Dataplex avec le rôle Administrateur préalable sur le bucket, afin que
les autorisations peuvent être définies sur le bucket lui-même.
Attribuer des rôles aux ensembles de données BigQuery
Pour associer à votre lac un ensemble de données BigQuery provenant d'un autre projet, vous devez accorder au compte de service Dataplex, d'administrateur BigQuery sur l'ensemble de données.
Considérations relatives à VPC Service Controls
Dataplex n'enfreint pas les périmètres VPC Service Controls. Avant lorsque vous ajoutez un élément au lac, assurez-vous que le bucket ou l'ensemble de données sous-jacent se trouve au même réseau VPC Service Controls que le lac.
Pour en savoir plus, consultez la page VPC Service Controls avec Dataplex
Ajouter un élément
Vous pouvez ajouter un bucket Cloud Storage ou un ensemble de données BigQuery
à l'aide d'une méthode API Dataplex
lakes.zones.assets.create
ou ajouter un bucket ou un ensemble de données sur la page "Zone de données" ouverte dans un navigateur local.
En l'absence de chevauchement entre la région du lac Dataplex et l'une des régions des buckets Cloud Storage, vous ne pouvez pas ajouter le bucket à une zone de votre lac.
Pour en savoir plus sur la région un élément Cloud Storage et la manière dont Dataplex gère emplacement d'un bucket lors de la création de l'ensemble de données à publier, consultez Ressources régionales
Console
Dans la console Google Cloud, ouvrez la page Dataplex:
Sur la page Gérer, cliquez sur le lac de données vous souhaitez ajouter un bucket Cloud Storage ou BigQuery ensemble de données. La page du lac s'ouvre.
Dans l'onglet Zones, cliquez sur le nom de la zone de données à laquelle auquel vous souhaitez ajouter le composant. Page "Zone de données" pour cette zone de données s'ouvre.
Dans l'onglet Éléments, cliquez sur + Ajouter des éléments. Page Ajouter des éléments s'ouvre.
Cliquez sur Add an Asset (Ajouter un élément).
Dans le champ Type, sélectionnez au choix Ensemble de données BigQuery ou bucket Cloud Storage
Dans le champ Nom à afficher, saisissez le nom du nouvel élément.
Dans le champ ID, saisissez un identifiant unique pour l'élément.
Facultatif : saisissez une Description.
Dans le champ Ensemble de données ou Bucket (selon le type d'élément) : cliquez sur Parcourir pour rechercher et sélectionner votre bucket Cloud Storage ; ensemble de données BigQuery.
Facultatif: Si votre type d'élément est Bucket Cloud Storage et si vous souhaitez que Dataplex gère l'élément, puis sélectionnez Passer à un compte géré. Si vous choisissez cette option, vous devez mettre à jour l'asset séparément. Cette option n'est pas disponible pour les ensembles de données BigQuery.
Cliquez sur Continuer.
Choisissez les autres valeurs de paramètre. Pour en savoir plus sur paramètres de sécurité, consultez Lake security.
Cliquez sur Envoyer pour ajouter le composant.
Vérifiez que vous êtes revenu sur la page des zones de données et que votre nouvelle élément s'affiche dans la liste des éléments.
REST
Suivez les instructions de l'API pour ajouter un bucket. à l'aide d'APIs Explorer.
Lorsque l'ajout réussit, la zone de données passe automatiquement à l'état actif de l'état. En cas d'échec, le rollback de la zone de données est effectué afin de revenir à sa position précédente est opérationnel.
Mettre à niveau un élément de bucket Cloud Storage
Lorsque vous ajoutez un élément de type bucket Cloud Storage, Dataplex publie automatiquement BigQuery tables externes pour les tables hébergées dans le élément.
Lorsque vous mettez à niveau un élément de bucket Cloud Storage, Dataplex supprime les tables externes associées et crée Tables BigLake. Les tables BigLake offrent une sécurité renforcée, y compris au niveau de la ligne, au niveau des colonnes et au masquage dynamique des données.
Vous pouvez mettre à niveau un élément de bucket Cloud Storage dans la console Google Cloud ou via la méthode API Dataplex Patch.
Console
Dans la console Google Cloud, ouvrez la page Dataplex:
Sur la page Gérer, cliquez sur le nom du lac. La page du lac s'ouvre.
Dans l'onglet Zones, cliquez sur le nom de la zone de données. La s'ouvre.
Dans l'onglet Éléments, cliquez sur le nom de l'élément que vous souhaitez modifier. mise à niveau.
Cliquez sur Passer à un compte géré.
REST
Suivez les instructions de l'API pour mettre à niveau un élément de bucket. à l'aide de Cloud Explorer.
Revenir à une version antérieure d'un élément de bucket Cloud Storage
Lorsque vous passez à une version antérieure d'un élément de bucket Cloud Storage, Dataplex supprime les composants les tables BigLake et crée dans les tables externes.
Vous pouvez revenir à une version antérieure d'un élément de bucket Cloud Storage dans la console Google Cloud.
ou via la méthode API Dataplex
Patch,
avec le champ readAccessMode
défini sur DIRECT
dans
ResourceSpec
Console
Dans la console Google Cloud, ouvrez la page Dataplex:
Sur la page Gérer, cliquez sur le nom du lac. La page du lac s'ouvre.
Dans l'onglet Zones, cliquez sur le nom de la zone de données. La s'ouvre.
Dans l'onglet Éléments, cliquez sur le nom de l'élément que vous souhaitez modifier. mise à niveau.
Cliquez sur Repasser de l'appareil géré.
REST
Suivez les instructions de l'API pour rétrograder un élément de bucket.
à l'aide de Cloud Explorer. Veillez à définir readAccessMode
sur DIRECT
dans
ResourceSpec
Supprimer un composant
Vous pouvez supprimer un bucket Cloud Storage ou un ensemble de données BigQuery
dans la console Google Cloud ou en émettant l'API Dataplex
lakes.zones.assets.delete
.
Supprimez l'élément de la zone de données ou du lac avant de l'associer à un
différent.
Les instructions suivantes montrent comment supprimer un Dataplex à l'aide de la console Google Cloud ou de l'API Dataplex.
Console
Dans la console Google Cloud, ouvrez la page Dataplex:
Sur la page Gérer, cliquez sur le lac de données à partir duquel vous souhaitez supprimer un bucket Cloud Storage ensemble de données BigQuery. La page correspondante s'ouvre.
Dans l'onglet Zones, cliquez sur le nom de la zone de données à laquelle vous souhaitez attribuer supprimer le bucket Cloud Storage ou BigQuery ensemble de données. La page "Zone de données" s'affiche.
Dans l'onglet Éléments, sélectionnez l'asset en cochant la case située à gauche. du nom de l'élément.
Cliquez sur Supprimer l'asset pour le supprimer.
Dans la boîte de dialogue, cliquez sur Supprimer pour confirmer la dissociation.
REST
Suivez les instructions de l'API pour supprimer un bucket. à l'aide de Cloud Explorer.
Étape suivante
- En savoir plus sur la découverte de données
- Découvrez comment créer un lac de données.
- En savoir plus sur Cloud Audit Logging