Guide de démarrage rapide: Créer un lac

Guide de démarrage rapide: Créer un lac

Cette page explique comment commencer à utiliser Dataplex dans la console Google Cloud en vous guidant tout au long de la création d'un lac, de l'ajout d'une zone et de l'association d'un élément.

Avant de commencer

Remarque :Pour les cas d'utilisation de Dataplex, ne créez ni n'utilisez de lac avec l'ID goog-dataproc-default-lake. L'ID goog-dataproc-default-lake sert de lac par défaut exclusivement destiné aux espaces de travail Dataproc. L'utilisation du nom de lac réservé n'est pas acceptée pour l'exploration Dataplex.

1. Connectez-vous à votre compte Google Cloud. Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $ de crédits gratuits pour exécuter, tester et déployer des charges de travail.

2. Dans Google Cloud Console, sur la page de sélection du projet, sélectionnez ou créez un projet Google Cloud.

   Remarque : Si vous ne comptez pas conserver les ressources créées dans cette procédure, créez un projet au lieu de sélectionner un projet existant. Après avoir suivi ces étapes, vous pouvez supprimer le projet. Cela entraîne la suppression de toutes les ressources qui lui sont associées.

   Accéder au sélecteur de projet

3. Vérifiez que la facturation est activée pour votre projet Google Cloud.

4. Activer les API Dataplex, Dataproc, Dataproc Metastore, Data Catalog, BigQuery et Cloud Storage .

   Activer les API

5. Assurez-vous que vous disposez du ou des rôles suivants au niveau du projet : roles/dataplex.admin, roles/dataplex.editor

   Vérifier les rôles

   1. Dans la console Google Cloud, accédez à la page IAM.

      Accéder à IAM
   2. Sélectionnez le projet.

   3. Dans la colonne Compte principal, recherchez la ligne qui contient votre adresse e-mail.

      Si votre adresse e-mail ne figure pas dans cette colonne, cela signifie que vous n'avez aucun rôle.

   4. Dans la colonne Rôle de la ligne contenant votre adresse e-mail, vérifiez si la liste des rôles inclut les rôles requis.

   Attribuer les rôles

   1. Dans la console Google Cloud, accédez à la page IAM.

      Accéder à IAM
   2. Sélectionnez le projet.
   3. Cliquez sur Accorder l'accès.
   4. Dans le champ Nouveaux comptes principaux, saisissez votre adresse e-mail.
   5. Dans la liste Sélectinoner un rôle, sélectionnez un rôle.
   6. Pour attribuer des rôles supplémentaires, cliquez sur Ajouter un autre rôle et ajoutez chaque rôle supplémentaire.
   7. Cliquez sur Enregistrer.

6. Dans Google Cloud Console, sur la page de sélection du projet, sélectionnez ou créez un projet Google Cloud.

   Remarque : Si vous ne comptez pas conserver les ressources créées dans cette procédure, créez un projet au lieu de sélectionner un projet existant. Après avoir suivi ces étapes, vous pouvez supprimer le projet. Cela entraîne la suppression de toutes les ressources qui lui sont associées.

   Accéder au sélecteur de projet

7. Vérifiez que la facturation est activée pour votre projet Google Cloud.

8. Activer les API Dataplex, Dataproc, Dataproc Metastore, Data Catalog, BigQuery et Cloud Storage .

   Activer les API

9. Assurez-vous que vous disposez du ou des rôles suivants au niveau du projet : roles/dataplex.admin, roles/dataplex.editor

   Vérifier les rôles

   1. Dans la console Google Cloud, accédez à la page IAM.

      Accéder à IAM
   2. Sélectionnez le projet.

   3. Dans la colonne Compte principal, recherchez la ligne qui contient votre adresse e-mail.

      Si votre adresse e-mail ne figure pas dans cette colonne, cela signifie que vous n'avez aucun rôle.

   4. Dans la colonne Rôle de la ligne contenant votre adresse e-mail, vérifiez si la liste des rôles inclut les rôles requis.

   Attribuer les rôles

   1. Dans la console Google Cloud, accédez à la page IAM.

      Accéder à IAM
   2. Sélectionnez le projet.
   3. Cliquez sur Accorder l'accès.
   4. Dans le champ Nouveaux comptes principaux, saisissez votre adresse e-mail.
   5. Dans la liste Sélectinoner un rôle, sélectionnez un rôle.
   6. Pour attribuer des rôles supplémentaires, cliquez sur Ajouter un autre rôle et ajoutez chaque rôle supplémentaire.
   7. Cliquez sur Enregistrer.
Créez un bucket Cloud Storage :
1. Dans la console Google Cloud, accédez à la page Buckets Cloud Storage.

   Accéder à la page "Buckets"

2. Cliquez sur Créer un bucket.
3. Sur la page Créer un bucket, saisissez les informations concernant votre bucket. Pour passer à l'étape suivante, cliquez sur Continuer.
   • Pour nommer votre bucket, saisissez un nom unique. N'incluez aucune information sensible dans le nom des buckets, car leur espace de noms est global et visible par tous.
   • Pour Choisir l'emplacement de stockage des données, procédez comme suit :
     • Sélectionnez une option de type d'emplacement.
     • Sélectionnez une option Location (Emplacement).
   • Pour Choisir une classe de stockage par défaut pour vos données, sélectionnez l'option suivante : Standard
   • Pour le champ Choisir comment contrôler l'accès aux objets, sélectionnez une option de Contrôle des accès.
   • Sous Paramètres avancés (facultatif), choisissez une méthode de chiffrement, une règle de conservation ou des libellés de bucket.
4. Cliquez sur Create (Créer).

Créer un lac

Les étapes suivantes vous expliquent comment créer un lac à l'aide de la console Google Cloud.

1. Accédez à Dataplex dans la console Google Cloud.

   Accéder à Dataplex

2. Accédez à la vue Gérer.

3. Cliquez sur Créer.

4. Saisissez un nom à afficher.

5. L'ID du lac est généré automatiquement pour vous.

6. Spécifiez la Région dans laquelle créer l'instance.

   Pour les lacs créés dans une région donnée (par exemple, us-central1), les données d'une seule région (us-central1) et les données multirégionales (us multi-region) peuvent être associées en fonction des paramètres de la zone.

7. Cliquez sur Créer.

Ajouter une zone à votre lac

Après avoir créé votre lac, vous pouvez y ajouter des zones. Les zones sont des regroupements logiques de données non structurées et structurées.

1. Dans la vue Manage (Gérer), cliquez sur le nom du lac auquel vous souhaitez ajouter une zone.

2. Cliquez sur Ajouter une zone.

3. Saisissez le nom à afficher pour votre zone.

   Remarque :L'ID de zone est généré automatiquement. Si nécessaire, vous pouvez fournir votre propre ID.

4. Cliquez sur la liste déroulante Type. Sélectionnez Zone brute ou Zone sélectionnée. En savoir plus sur les types de zones

5. Sous Emplacements des données, sélectionnez Régional ou Multirégional. Vous ne pourrez plus le modifier par la suite. Les données régionales et multirégionales ne peuvent pas être mélangées dans la même zone.

   Remarque :La détection est activée par défaut. Cliquez pour développer Paramètres de découverte et vérifiez que l'option Activer la découverte de métadonnées est sélectionnée. Apprenez-en plus sur Discovery.

6. Cliquez sur Créer.

La création de la zone peut prendre quelques minutes.

Joindre un asset

Les données peuvent être stockées dans des buckets Cloud Storage ou des ensembles de données BigQuery, et peuvent être associées en tant qu'éléments à des zones de données dans un lac Dataplex.

Procédez comme suit pour associer le bucket Cloud Storage que vous avez créé précédemment en tant qu'élément.

1. Dans la vue Gérer, cliquez sur le nom du lac auquel vous souhaitez associer un bucket Cloud Storage.

2. Dans l'onglet Zones, cliquez sur la zone à laquelle ajouter l'élément.

3. Dans l'onglet Assets, cliquez sur Add Assets (Ajouter des éléments).

4. Cliquez sur Ajouter un composant.

5. Sous Type, sélectionnez Bucket de stockage.

6. Sous Nom à afficher, saisissez un nom pour l'asset.

   Remarque :L'ID de l'élément est généré automatiquement. Si nécessaire, vous pouvez fournir votre propre ID.

7. Dans le champ Bucket, cliquez sur Parcourir. Si vous disposez d'un bucket Cloud Storage, recherchez-le et cliquez sur Sélectionner. Si vous n'avez pas de bucket Cloud Storage, vous pouvez en créer un en cliquant sur le bouton .

   1. Saisissez un nom unique pour le bucket. Cliquez sur Continuer.

   2. Sélectionnez un Type d'emplacement. Cliquez sur Continuer.

   3. Choisissez une classe de stockage par défaut pour vos données. Cliquez sur Continuer.

   4. Choisissez un niveau de contrôle des accès. Cliquez sur Continuer.

   5. Sélectionnez une option de protection des données ou Aucune. Cliquez sur Continuer.

   6. Cliquez sur Créer.

   7. Cliquez sur Sélectionner.

8. Cliquez sur OK.

9. Cliquez sur Continuer.

10. Sous Paramètres de découverte, sélectionnez Hériter pour hériter des paramètres de découverte au niveau de la zone.

11. Cliquez sur Continuer.

12. Sous Ajouter des éléments, cliquez sur Envoyer.

Attendez la fin de la création de l'asset.

Remarque :Pour utiliser votre lac, consultez la section Étapes suivantes.

Effectuer un nettoyage

Pour éviter que les ressources utilisées sur cette page soient facturées sur votre compte Google Cloud, procédez comme suit :

Attention : La suppression d'un projet aura les effets suivants :

• Tout le contenu du projet est supprimé. Si vous avez utilisé un projet existant pour les tâches de ce document, lorsque vous le supprimez, vous supprimez également tout autre travail effectué dans le projet.
• Les ID de projets personnalisés sont perdus. Lorsque vous avez créé ce projet, vous avez peut-être créé un ID de projet personnalisé que vous souhaitez utiliser à l'avenir. Pour conserver les URL qui utilisent l'ID de projet, telle qu'une URL appspot.com, supprimez les ressources sélectionnées dans le projet au lieu de supprimer l'ensemble du projet.

Si vous envisagez d'explorer plusieurs architectures, tutoriels et guides de démarrage rapide, réutiliser des projets peut vous aider à ne pas dépasser les limites de quotas des projets.

1. Dans la console Google Cloud, accédez à la page Gérer les ressources.

   Accéder à la page Gérer les ressources

2. Si le projet que vous envisagez de supprimer est associé à une organisation, développez la liste Organisation dans la colonne Nom.
3. Dans la liste des projets, sélectionnez le projet que vous souhaitez supprimer, puis cliquez sur Supprimer.
4. Dans la boîte de dialogue, saisissez l'ID du projet, puis cliquez sur Arrêter pour supprimer le projet.

Vous pouvez également supprimer les ressources utilisées dans ce tutoriel. Les lacs ne peuvent être supprimés que si toutes les ressources de zone de données qu'ils contiennent ont été supprimées. De même, une zone de données ne peut être supprimée que si toutes les ressources d'éléments sous-jacentes ont été supprimées:

Dissocier le bucket de stockage

Les étapes suivantes vous expliquent comment dissocier l'élément Dataplex que vous avez créé.

1. Accédez à Dataplex dans la console Google Cloud.

   Accéder à Dataplex

2. Dans la vue Gérer, cliquez sur le nom du lac que vous avez créé.

3. Dans l'onglet Zones, cliquez sur le nom de la zone que vous avez créée.

4. Dans l'onglet Éléments, sélectionnez l'élément à dissocier en cochant la case située à gauche du nom du bucket.

5. Cliquez sur Supprimer l'élément.

6. Cliquez sur Supprimer pour confirmer la dissociation.

Supprimer la zone

Les étapes suivantes vous expliquent comment supprimer la zone Dataplex que vous avez créée.

1. Accédez à Dataplex dans la console Google Cloud.

   Accéder à Dataplex

2. Dans la vue Manage (Gérer), cliquez sur le lac que vous avez créé.

3. Dans l'onglet Zones, sélectionnez la zone à supprimer en cochant la case située à gauche du nom de la zone de données.

4. Cliquez sur Supprimer la zone.

5. Cliquez sur Delete (Supprimer) pour confirmer la suppression.

Supprimer le lac

Les étapes suivantes vous expliquent comment supprimer le lac Dataplex que vous avez créé.

1. Accédez à Dataplex dans la console Google Cloud.

   Accéder à Dataplex

2. Dans la vue Manage (Gérer), cliquez sur le lac que vous avez créé.

3. En haut de la page, cliquez sur Supprimer.

4. Confirmez la suppression en saisissant "delete" dans la zone de texte.

5. Cliquez sur Supprimer le lac pour confirmer la suppression.

Étapes suivantes

Après avoir créé votre lac, vos zones et vos éléments, vous pouvez:

• Organisez vos données en lacs et en zones.
• Sécuriser votre lac
• Affichez les métadonnées découvertes à l'aide de la console Google Cloud.
• Affichez les métadonnées découvertes à l'aide de l'API.