Guide de démarrage rapide: créer un service et un cluster Dataproc Metastore

Créer un service et un cluster Dataproc Metastore

Cette page explique comment créer un service Dataproc Metastore et un cluster Dataproc qui utilise le service en tant que métastore Hive.

Avant de commencer

  1. Connectez-vous à votre compte Google Cloud. Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $ de crédits gratuits pour exécuter, tester et déployer des charges de travail.
  2. Dans Google Cloud Console, sur la page de sélection du projet, sélectionnez ou créez un projet Google Cloud.

    Accéder au sélecteur de projet

  3. Assurez-vous que la facturation est activée pour votre projet Cloud. Découvrez comment vérifier si la facturation est activée sur un projet.

  4. Dans Google Cloud Console, sur la page de sélection du projet, sélectionnez ou créez un projet Google Cloud.

    Accéder au sélecteur de projet

  5. Assurez-vous que la facturation est activée pour votre projet Cloud. Découvrez comment vérifier si la facturation est activée sur un projet.

  6. Activez l'API Dataproc Metastore

    Activer l'API

Contrôle des accès

  • Pour créer un service, vous devez demander un rôle IAM contenant l'autorisation IAM metastore.services.create. Les rôles spécifiques à Dataproc Metastore roles/metastore.admin et roles/metastore.editor incluent l'autorisation de créer.

  • Les anciens rôles roles/owner et roles/editor permettent d'accorder l'autorisation de créer à des utilisateurs ou des groupes.

Pour obtenir et définir des stratégies IAM, vous pouvez utiliser les outils suivants:

Pour en savoir plus, consultez la page IAM et contrôle des accès Dataproc Metastore.

Créer un service Dataproc Metastore

Les instructions suivantes montrent comment créer un service Dataproc Metastore à l'aide de Google Cloud Console, de la CLI gcloud ou de l'API Dataproc Metastore.

Console

  1. Dans Cloud Console, ouvrez la page Créer un service :

    Ouvrir la page Créer un service dans Cloud Console

    Page "Créer un service"
  2. Dans le champ Service name (Nom du compte de service), saisissez example-service.

  3. Sélectionnez Data location (Emplacement des données). Pour en savoir plus sur la sélection d'une région, consultez la section Emplacements Cloud.

  4. Pour les autres options de configuration du service, utilisez les valeurs par défaut fournies.

  5. Pour créer et démarrer le service, cliquez sur le bouton Submit (Envoyer).

Le nouveau service apparaît dans la liste des services.

gcloud

Exécutez la commande gcloud metastore services create suivante pour créer un service.

 gcloud metastore services create example-service \
     --location=LOCATION
 

Remplacez LOCATION par la région Compute Engine dans laquelle le service doit être créé. Assurez-vous que Dataproc Metastore est disponible à l'emplacement.

REST

Suivez les instructions de l'API pour créer un service à l'aide de l'explorateur d'API.

Créer un cluster Dataproc qui utilise le service

Après avoir créé un service, vous pouvez créer et associer un cluster Dataproc qui utilise le service en tant que métastore Hive.

L'image Dataproc et la version Dataproc Metastore Hive doivent être compatibles. Consultez les pages de gestion des versions d'images suivantes pour vous assurer que la version de Hive est compatible:

Pour en savoir plus, consultez la liste des versions d'image Dataproc.

Console

  1. Dans Cloud Console, ouvrez la page Dataproc Créer un cluster.

    Ouvrir la page "Créer un cluster" dans Cloud Console

  2. Dans le champ Cluster Name (Nom du cluster), saisissez example-cluster.

  3. Dans les menus Région et Zone, sélectionnez une région et une zone pour le cluster. Vous pouvez sélectionner une région distincte pour isoler les ressources et les emplacements de stockage de métadonnées dans cette région. Si vous sélectionnez une région distincte, vous pouvez sélectionner "No preference" (Aucune préférence) pour la zone afin de laisser Dataproc choisir une zone dans la région sélectionnée pour votre cluster (consultez la page Sélection automatique des zones de Dataproc).

  4. Utilisez les valeurs fournies par défaut pour toutes les autres options.

  5. Cliquez sur l'onglet Personnaliser le cluster.

  6. Dans la section Configuration du réseau, sélectionnez le même réseau spécifié lors de la création du service de métastore.

  7. Dans la section Dataproc Metastore, sélectionnez example-service.

  8. Cliquez sur Créer pour créer le cluster.

Votre nouveau cluster apparaît dans la liste des clusters. L'état du cluster indique "Provisionnement" jusqu'à ce qu'il soit prêt à être utilisé. Son état devient alors "Running" (En cours d'exécution).

gcloud

Exécutez la commande gcloud dataproc clusters create ci-dessous pour créer un cluster :

 gcloud dataproc clusters create example-cluster \
    --dataproc-metastore=projects/PROJECT_ID/locations/LOCATION/services/example-service \
    --region=LOCATION
 

Remplacez PROJECT_ID par l'ID du projet dans lequel vous avez créé votre service Dataproc Metastore.

Remplacez LOCATION par la région que vous avez spécifiée pour le service Dataproc Metastore.

REST

Suivez les instructions de l'API pour créer un cluster à l'aide de l'explorateur d'API.

Effectuer un nettoyage

Pour éviter que les ressources utilisées sur cette page soient facturées sur votre compte Google Cloud :

  1. Dans Cloud Console, accédez à la page Gérer les ressources :

    Accéder à la page Gérer les ressources

  2. Si le projet que vous envisagez de supprimer est associé à une organisation, développez la liste Organisation dans la colonne Nom.
  3. Dans la liste des projets, sélectionnez le projet que vous souhaitez supprimer, puis cliquez sur Supprimer.
  4. Dans la boîte de dialogue, saisissez l'ID du projet, puis cliquez sur Arrêter pour supprimer le projet.

Vous pouvez également supprimer les ressources utilisées dans ce tutoriel :

  1. Supprimez le service Dataproc Metastore.

    Console

    1. Dans Cloud Console, ouvrez la page "Dataproc Metastore" :

      Ouvrir Dataproc Metastore dans Cloud Console

    2. À gauche du nom du service, cochez la case example-service.

    3. En haut de la page Dataproc Metastore, cliquez sur Supprimer pour supprimer le service.

    4. Dans la boîte de dialogue, cliquez sur Supprimer pour confirmer la suppression.

    Votre service n'apparaît plus dans la liste des services.

    gcloud

    Exécutez la commande gcloud metastore services delete suivante pour supprimer un service:

     gcloud metastore services delete example-service \
         --location=LOCATION
     

    Remplacez LOCATION par la région Compute Engine dans laquelle le service a été créé.

    REST

    Suivez les instructions de l'API pour supprimer un service à l'aide de l'explorateur d'API.

    Toutes les suppressions sont effectives immédiatement.

  2. Supprimez le bucket Cloud Storage associé au service Dataproc Metastore.

  3. Supprimez le cluster Dataproc qui utilisait le service Dataproc Metastore.

Étapes suivantes