Créer un service et un cluster Dataproc Metastore

Guide de démarrage rapide: créer un service et un cluster Dataproc Metastore

Créer un service et un cluster Dataproc Metastore

Cette page explique comment créer un service Dataproc Metastore et un cluster Dataproc qui utilise le service en tant que métastore Hive.

Avant de commencer

1. Connectez-vous à votre compte Google Cloud. Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $ de crédits gratuits pour exécuter, tester et déployer des charges de travail.

2. Dans Google Cloud Console, sur la page de sélection du projet, sélectionnez ou créez un projet Google Cloud.

   Remarque : Si vous ne comptez pas conserver les ressources créées dans cette procédure, créez un projet au lieu de sélectionner un projet existant. Après avoir suivi ces étapes, vous pouvez supprimer le projet. Cela entraîne la suppression de toutes les ressources qui lui sont associées.

   Accéder au sélecteur de projet

3. Assurez-vous que la facturation est activée pour votre projet Cloud. Découvrez comment vérifier si la facturation est activée sur un projet.

4. Dans Google Cloud Console, sur la page de sélection du projet, sélectionnez ou créez un projet Google Cloud.

   Remarque : Si vous ne comptez pas conserver les ressources créées dans cette procédure, créez un projet au lieu de sélectionner un projet existant. Après avoir suivi ces étapes, vous pouvez supprimer le projet. Cela entraîne la suppression de toutes les ressources qui lui sont associées.

   Accéder au sélecteur de projet

5. Assurez-vous que la facturation est activée pour votre projet Cloud. Découvrez comment vérifier si la facturation est activée sur un projet.

6. Activez l'API Dataproc Metastore

   Activer l'API

Contrôle des accès

• Pour créer un service, vous devez demander un rôle IAM contenant l'autorisation IAM metastore.services.create. Les rôles spécifiques à Dataproc Metastore roles/metastore.admin et roles/metastore.editor incluent l'autorisation de créer.

• Les anciens rôles roles/owner et roles/editor permettent d'accorder l'autorisation de créer à des utilisateurs ou des groupes.

Pour obtenir et définir des stratégies IAM, vous pouvez utiliser les outils suivants:

• Google Cloud Console: consultez la section Contrôle des accès via Google Cloud Console.
• API REST: consultez la section Contrôle des accès via l'API.
• Ligne de commande gcloud: consultez la page Contrôle des accès via la CLI Google Cloud.

Pour en savoir plus, consultez la page IAM et contrôle des accès Dataproc Metastore.

Créer un service Dataproc Metastore

Les instructions suivantes montrent comment créer un service Dataproc Metastore à l'aide de Google Cloud Console, de la CLI gcloud ou de l'API Dataproc Metastore.

Console

1. Dans Cloud Console, ouvrez la page Créer un service :

   Ouvrir la page Créer un service dans Cloud Console

   

2. Dans le champ Service name (Nom du compte de service), saisissez example-service.

3. Sélectionnez Data location (Emplacement des données). Pour en savoir plus sur la sélection d'une région, consultez la section Emplacements Cloud.

4. Pour les autres options de configuration du service, utilisez les valeurs par défaut fournies.

5. Pour créer et démarrer le service, cliquez sur le bouton Submit (Envoyer).

Le nouveau service apparaît dans la liste des services.

gcloud

Exécutez la commande gcloud metastore services create suivante pour créer un service.

 gcloud metastore services create example-service \
     --location=LOCATION
 

Remplacez LOCATION par la région Compute Engine dans laquelle le service doit être créé. Assurez-vous que Dataproc Metastore est disponible à l'emplacement.

REST

Suivez les instructions de l'API pour créer un service à l'aide de l'explorateur d'API.

Créer un cluster Dataproc qui utilise le service

Après avoir créé un service, vous pouvez créer et associer un cluster Dataproc qui utilise le service en tant que métastore Hive.

L'image Dataproc et la version Dataproc Metastore Hive doivent être compatibles. Consultez les pages de gestion des versions d'images suivantes pour vous assurer que la version de Hive est compatible:

• Versions Dataproc 2.0.x
• Versions de Dataproc 1.5.x
• Versions de Dataproc 1.4.x

Pour en savoir plus, consultez la liste des versions d'image Dataproc.

Console

1. Dans Cloud Console, ouvrez la page Dataproc Créer un cluster.

   Ouvrir la page "Créer un cluster" dans Cloud Console

2. Dans le champ Cluster Name (Nom du cluster), saisissez example-cluster.

3. Dans les menus Région et Zone, sélectionnez une région et une zone pour le cluster. Vous pouvez sélectionner une région distincte pour isoler les ressources et les emplacements de stockage de métadonnées dans cette région. Si vous sélectionnez une région distincte, vous pouvez sélectionner "No preference" (Aucune préférence) pour la zone afin de laisser Dataproc choisir une zone dans la région sélectionnée pour votre cluster (consultez la page Sélection automatique des zones de Dataproc).

   Remarque : Pour garantir une connectivité réseau optimale, vous devez créer le cluster Dataproc dans la même région que le service Dataproc Metastore.

4. Utilisez les valeurs fournies par défaut pour toutes les autres options.

5. Cliquez sur l'onglet Personnaliser le cluster.

6. Dans la section Configuration du réseau, sélectionnez le même réseau spécifié lors de la création du service de métastore.

7. Dans la section Dataproc Metastore, sélectionnez example-service.

8. Cliquez sur Créer pour créer le cluster.

Votre nouveau cluster apparaît dans la liste des clusters. L'état du cluster indique "Provisionnement" jusqu'à ce qu'il soit prêt à être utilisé. Son état devient alors "Running" (En cours d'exécution).

gcloud

Exécutez la commande gcloud dataproc clusters create ci-dessous pour créer un cluster :

 gcloud dataproc clusters create example-cluster \
    --dataproc-metastore=projects/PROJECT_ID/locations/LOCATION/services/example-service \
    --region=LOCATION
 

Remplacez PROJECT_ID par l'ID du projet dans lequel vous avez créé votre service Dataproc Metastore.

Remplacez LOCATION par la région que vous avez spécifiée pour le service Dataproc Metastore.

Remarque : Pour garantir une connectivité réseau optimale, vous devez créer le cluster Dataproc dans la même région que le service Dataproc Metastore. De plus, le cluster Dataproc doit se trouver sur le même réseau que le service Dataproc Metastore.

REST

Suivez les instructions de l'API pour créer un cluster à l'aide de l'explorateur d'API.

Effectuer un nettoyage

Pour éviter que les ressources utilisées sur cette page soient facturées sur votre compte Google Cloud :

Attention : La suppression d'un projet aura les effets suivants :

• Tout le contenu du projet est supprimé. Si vous avez utilisé un projet existant pour ce tutoriel et que vous le supprimez, vous supprimerez également tout autre travail effectué dans le projet.
• Les ID de projets personnalisés sont perdus. Lorsque vous avez créé ce projet, vous avez peut-être créé un ID de projet personnalisé que vous souhaitez utiliser à l'avenir. Pour conserver les URL qui utilisent l'ID de projet, telle qu'une URL appspot.com, supprimez les ressources sélectionnées dans le projet au lieu de supprimer l'ensemble du projet.

Si vous envisagez d'explorer plusieurs tutoriels et guides de démarrage rapide, vous pouvez constater que réutiliser des projets peut vous aider à éviter de dépasser les limites de quotas des projets.

1. Dans Cloud Console, accédez à la page Gérer les ressources :

   Accéder à la page Gérer les ressources

2. Si le projet que vous envisagez de supprimer est associé à une organisation, développez la liste Organisation dans la colonne Nom.
3. Dans la liste des projets, sélectionnez le projet que vous souhaitez supprimer, puis cliquez sur Supprimer.
4. Dans la boîte de dialogue, saisissez l'ID du projet, puis cliquez sur Arrêter pour supprimer le projet.

Vous pouvez également supprimer les ressources utilisées dans ce tutoriel :

1. Supprimez le service Dataproc Metastore.

   Console

   1. Dans Cloud Console, ouvrez la page "Dataproc Metastore" :

      Ouvrir Dataproc Metastore dans Cloud Console

   2. À gauche du nom du service, cochez la case example-service.

   3. En haut de la page Dataproc Metastore, cliquez sur Supprimer pour supprimer le service.

   4. Dans la boîte de dialogue, cliquez sur Supprimer pour confirmer la suppression.

   Votre service n'apparaît plus dans la liste des services.

   gcloud

   Exécutez la commande gcloud metastore services delete suivante pour supprimer un service:

    gcloud metastore services delete example-service \
        --location=LOCATION
    

   Remplacez LOCATION par la région Compute Engine dans laquelle le service a été créé.

   REST

   Suivez les instructions de l'API pour supprimer un service à l'aide de l'explorateur d'API.

   Toutes les suppressions sont effectives immédiatement.

2. Supprimez le bucket Cloud Storage associé au service Dataproc Metastore.

   Remarque : La suppression du service Dataproc Metastore ne supprime pas son bucket.

3. Supprimez le cluster Dataproc qui utilisait le service Dataproc Metastore.

Étapes suivantes

• Qu'est-ce que Dataproc Metastore ?
• Créer un service
• Importer des métadonnées dans un service