Guide de démarrage rapide : créer un lac

Guide de démarrage rapide : créer un lac

Cette page vous explique comment utiliser Dataplex dans le la console Google Cloud, qui vous expliquera comment créer un lac, ajouter une zone l'association d'un élément.

Avant de commencer

Remarque : Pour les cas d'utilisation de Dataplex, ne créez ni n'utilisez pas de lac avec l'ID goog-dataproc-default-lake. L'ID goog-dataproc-default-lake sert de lac par défaut destiné exclusivement aux espaces de travail Dataproc.

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the Dataplex, Dataproc, Dataproc Metastore, Data Catalog, BigQuery, and Cloud Storage APIs.

   Enable the APIs

5. Make sure that you have the following role or roles on the project: roles/dataplex.admin, roles/dataplex.editor

   Check for the roles

   1. In the Google Cloud console, go to the IAM page.

      Go to IAM
   2. Select the project.

   3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

   4. For all rows that specify or include you, check the Role colunn to see whether the list of roles includes the required roles.

   Grant the roles

   1. In the Google Cloud console, go to the IAM page.

      Accéder à IAM
   2. Sélectionnez le projet.
   3. Cliquez sur Accorder l'accès.

   4. Dans le champ Nouveaux comptes principaux, saisissez votre identifiant utilisateur. Il s'agit généralement de l'adresse e-mail d'un compte Google.

   5. Dans la liste Sélectionner un rôle, sélectionnez un rôle.
   6. Pour attribuer des rôles supplémentaires, cliquez sur Ajouter un autre rôle et ajoutez chaque rôle supplémentaire.
   7. Cliquez sur Enregistrer.

   8. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

      Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

      Go to project selector

   9. Make sure that billing is enabled for your Google Cloud project.

   10. Enable the Dataplex, Dataproc, Dataproc Metastore, Data Catalog, BigQuery, and Cloud Storage APIs.

       Enable the APIs

   11. Make sure that you have the following role or roles on the project: roles/dataplex.admin, roles/dataplex.editor

       Check for the roles

       1. In the Google Cloud console, go to the IAM page.

          Go to IAM
       2. Select the project.

       3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

       4. For all rows that specify or include you, check the Role colunn to see whether the list of roles includes the required roles.

       Grant the roles

       1. In the Google Cloud console, go to the IAM page.

          Accéder à IAM
       2. Sélectionnez le projet.
       3. Cliquez sur Accorder l'accès.

       4. Dans le champ Nouveaux comptes principaux, saisissez votre identifiant utilisateur. Il s'agit généralement de l'adresse e-mail d'un compte Google.

       5. Dans la liste Sélectionner un rôle, sélectionnez un rôle.
       6. Pour attribuer des rôles supplémentaires, cliquez sur Ajouter un autre rôle et ajoutez chaque rôle supplémentaire.
       7. Cliquez sur Enregistrer.
       Créez un bucket Cloud Storage :
       1. In the Google Cloud console, go to the Cloud Storage Buckets page.

          Go to Buckets page

       2. Click Create bucket.
       3. On the Create a bucket page, enter your bucket information. To go to the next step, click Continue.
          • For Name your bucket, enter a unique bucket name. Don't include sensitive information in the bucket name, because the bucket namespace is global and publicly visible.
          • For Choose where to store your data, do the following:
            • Select a Location type option.
            • Select a Location option.
          • For Choose a default storage class for your data, select the following: Standard.
          • For Choose how to control access to objects, select an Access control option.
          • For Advanced settings (optional), specify an encryption method, a retention policy, or bucket labels.
       4. Click Create.

Créer un lac

Les étapes suivantes vous expliquent comment créer un lac à l'aide de la console Google Cloud.

1. Accédez à Dataplex dans la console Google Cloud.

   Accéder à Dataplex

2. Accédez à la vue Gérer.

3. Cliquez sur Créer.

4. Saisissez un nom à afficher.

5. L'ID du lac est généré automatiquement.

6. Spécifiez la Région dans laquelle créer l'instance.

   Pour les lacs créés dans une région donnée (par exemple, us-central1), les deux Données régionales (us-central1) et multirégionales (us multi-region) en fonction des paramètres de la zone.

7. Cliquez sur Créer.

Ajouter une zone à votre lac

Après avoir créé votre lac, vous pouvez y ajouter des zones. Les zones sont logiques de données structurées et non structurées.

1. Dans la vue Gérer, cliquez sur le nom du lac auquel vous souhaitez ajouter une zone.

2. Cliquez sur Ajouter une zone.

3. Saisissez un nom à afficher pour votre zone dans le champ Display name (Nom à afficher).

   Remarque : L'ID de zone est généré automatiquement pour vous. Si nécessaire, vous vous pouvez fournir votre propre pièce d'identité.

4. Cliquez sur la liste déroulante Type. Sélectionnez Zone brute ou Zone de données organisées. Apprendre en savoir plus sur les types de zones.

5. Sous Emplacements des données, sélectionnez Régional ou Multirégional. Vous ne pourrez plus modifier votre choix par la suite. Données régionales et multirégionales ne peuvent pas être mélangés dans la même zone.

   Remarque :La découverte est activée par défaut. Cliquez pour développer Paramètres de découverte. et vérifiez que l'option Activer la découverte des métadonnées est sélectionnée. En savoir plus sur Discovery

6. Cliquez sur Créer.

La création de la zone peut prendre quelques minutes.

Joindre un asset

Les données peuvent être stockées dans des buckets Cloud Storage ou des ensembles de données BigQuery, et peuvent être associées en tant qu'éléments aux zones de données d'un lac Dataplex.

Suivez ces étapes pour associer le bucket Cloud Storage que vous avez créé en tant qu'élément.

1. Dans la vue Gérer, cliquez sur le nom du lac de données auquel vous souhaitez qui associe un bucket Cloud Storage.

2. Dans l'onglet Zones, cliquez sur la zone à laquelle ajouter l'élément.

3. Dans l'onglet Éléments, cliquez sur . Ajouter des composants :

4. Cliquez sur Ajouter un élément.

5. Sous Type, sélectionnez Bucket de stockage.

6. Sous Nom à afficher, saisissez un nom pour l'asset.

   Remarque :L'ID d'élément est généré automatiquement. Si nécessaire, vous pouvez fournir votre propre pièce d'identité.

7. Dans le champ Bucket, cliquez sur Parcourir. Si vous disposez d'un bucket Cloud Storage, recherchez-le, puis cliquez sur Sélectionner. Si vous ne possédez pas de bucket Cloud Storage, vous pouvez en créer un en cliquant sur le bouton .

   1. Saisissez un nom unique pour le bucket. Cliquez sur Continuer.

   2. Choisissez un type d'emplacement. Cliquez sur Continuer.

   3. Choisissez une classe de stockage par défaut pour vos données. Cliquez sur Continuer.

   4. Choisissez un niveau de contrôle des accès. Cliquez sur Continuer.

   5. Choisissez une option de protection des données ou Aucune. Cliquez sur Continuer.

   6. Cliquez sur Créer.

   7. Cliquez sur Sélectionner.

8. Cliquez sur OK.

9. Cliquez sur Continuer.

10. Sous Paramètres de découverte, sélectionnez Hériter pour hériter des paramètres de découverte du niveau de la zone.

11. Cliquez sur Continuer.

12. Sous Ajouter des éléments, cliquez sur Envoyer.

Attendez que la création de l'asset soit terminée.

Remarque :Pour utiliser votre lac, consultez la section Étapes suivantes.

Effectuer un nettoyage

Pour éviter que les ressources utilisées sur cette page soient facturées sur votre compte Google Cloud, procédez comme suit :

Attention : La suppression d'un projet entraîne les effets décrits ci-dessous :

• Tout le contenu du projet est supprimé. Si vous avez utilisé un projet existant pour les tâches décrites dans ce document et que vous le supprimez, vous supprimerez également tout autre travail effectué dans le projet.
• Les ID de projets personnalisés sont perdus. Lorsque vous avez créé ce projet, vous avez peut-être créé un ID de projet personnalisé que vous souhaitez utiliser à l'avenir. Pour conserver les URL qui utilisent l'ID de projet, telle qu'une URL appspot.com, supprimez les ressources sélectionnées dans le projet au lieu de supprimer l'ensemble du projet.

Si vous envisagez d'explorer plusieurs architectures, tutoriels et guides de démarrage rapide, réutiliser des projets peut vous aider à ne pas dépasser les limites de quotas des projets.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. If the project that you plan to delete is attached to an organization, expand the Organization list in the Name column.
3. In the project list, select the project that you want to delete, and then click Delete.
4. In the dialog, type the project ID, and then click Shut down to delete the project.

Vous pouvez également supprimer les ressources utilisées dans ce tutoriel. Les lacs ne peuvent pas est supprimé, sauf si toutes les ressources de la zone de données sous-jacentes ont été supprimées. De même, Les zones de données ne peuvent être supprimées que si toutes les ressources d'éléments qu'elles contiennent ont été supprimées:

Dissocier le bucket de stockage

Les étapes suivantes vous expliquent comment dissocier l'asset Dataplex que vous avez créé.

1. Accédez à Dataplex dans la console Google Cloud.

   Accéder à Dataplex

2. Dans la vue Gérer, cliquez sur le nom du lac que vous avez créé.

3. Dans l'onglet Zones, cliquez sur le nom de la zone que vous avez créée.

4. Dans l'onglet Éléments, sélectionnez l'élément à dissocier en cochant la case située à gauche du nom du bucket.

5. Cliquez sur Supprimer l'élément.

6. Cliquez sur Supprimer pour confirmer la dissociation.

Supprimer la zone

Les étapes suivantes vous expliquent comment supprimer la zone Dataplex que vous créé.

1. Accédez à Dataplex dans la console Google Cloud.

   Accéder à Dataplex

2. Dans la vue Gérer, cliquez sur le lac que vous avez créé.

3. Dans l'onglet Zones, sélectionnez la zone à supprimer en cochant la case correspondante. à gauche du nom de la zone de données.

4. Cliquez sur Supprimer la zone.

5. Cliquez sur Supprimer pour confirmer la suppression.

Supprimer le lac de données

Les étapes suivantes vous expliquent comment supprimer le lac Dataplex que vous créé.

1. Accédez à Dataplex dans la console Google Cloud.

   Accéder à Dataplex

2. Dans la vue Gérer, cliquez sur le lac que vous avez créé.

3. En haut de la page, cliquez sur Supprimer.

4. Confirmez la suppression en saisissant "delete" dans la zone de texte.

5. Cliquez sur Supprimer le lac de données pour confirmer la suppression.

Étape suivante

Après avoir créé votre lac, vos zones et vos éléments, vous pouvez:

• Organisez vos données en lacs et les zones.
• Sécurisez votre lac.
• Affichez les métadonnées découvertes à l'aide de la console Google Cloud.
• Affichez les métadonnées détectées à l'aide de l'API.