Déployer un service Dataproc Metastore

Cette page explique comment créer un service Dataproc Metastore et s'y connecter à partir d'un cluster Dataproc. Ensuite, connectez-vous au cluster via SSH, lancez une instance d'Apache Hive et exécutez quelques requêtes de base.

Dataproc Metastore vous fournit un metastore Hive (HMS) entièrement compatible, qui est la norme établie dans l'écosystème Open Source Big Data pour la gestion des métadonnées techniques. Ce service vous aide à gérer les métadonnées de vos lacs de données et assure l'interopérabilité entre les différents outils de traitement de données que vous utilisez.


Pour obtenir des instructions détaillées sur cette tâche directement dans la console Google Cloud , cliquez sur Visite guidée :

Visite guidée


Avant de commencer

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the Dataproc Metastore, Dataproc APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  6. Verify that billing is enabled for your Google Cloud project.

  7. Enable the Dataproc Metastore, Dataproc APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

  8. Rôles requis

    Pour obtenir les autorisations nécessaires pour créer un Dataproc Metastore et un cluster Dataproc, demandez à votre administrateur de vous accorder les rôles IAM suivants :

    • Pour accorder un accès complet à toutes les ressources Dataproc Metastore, y compris pour définir les autorisations IAM : (roles/metastore.admin) sur le compte utilisateur ou le compte de service
    • Pour accorder le contrôle total des ressources Dataproc Metastore : Éditeur Dataproc Metastore (roles/metastore.editor) sur le compte utilisateur ou le compte de service
    • Pour créer un cluster Dataproc : (roles/dataproc.worker) sur le compte de service

    Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

    Ces rôles prédéfinis contiennent les autorisations requises pour créer un cluster Dataproc et un Dataproc Metastore. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :

    Autorisations requises

    Les autorisations suivantes sont requises pour créer un cluster Dataproc Metastore et un cluster Dataproc :

    • Pour créer un service Dataproc Metastore : metastore.services.create sur le compte utilisateur ou le compte de service
    • Pour créer un cluster Dataproc : Dataproc worker (roles/dataproc.worker) sur le compte de service

    Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.

    Pour en savoir plus sur les rôles et autorisations Dataproc Metastore spécifiques, consultez Présentation d'IAM Dataproc Metastore.

    Créer un service Dataproc Metastore

    Les instructions suivantes vous montrent comment créer un service Dataproc Metastore de base à l'aide des paramètres par défaut fournis.

    Console

    1. Dans la console Google Cloud , accédez à la page Dataproc Metastore.

      Accéder à Dataproc Metastore

    2. Dans le menu de navigation, cliquez sur + Créer.

      La boîte de dialogue Créer un service Metastore s'ouvre.

    3. Sélectionnez Dataproc Metastore 2.

    4. Dans le champ Service name (Nom du compte de service), saisissez example-service.

    5. Dans le champ Emplacement des données, sélectionnez us-central1.

    6. Pour les autres options de configuration du service, utilisez les valeurs par défaut fournies.

    7. Pour créer et démarrer le service, cliquez sur Envoyer.

    Votre nouveau service de métastore s'affiche sur la page Dataproc Metastore. L'état Création en cours s'affiche jusqu'à ce que le service soit prêt à être utilisé. Lorsque le compte est prêt, son état passe à Actif. Le provisionnement du service peut prendre quelques minutes.

    La capture d'écran suivante montre un exemple de la page Créer un service avec certains des paramètres par défaut fournis.

    Page "Créer un service"

    gcloud CLI

     gcloud metastore services create example-service \
         --location=us-central1 \
         --instance-size=MEDIUM

    .

    REST

    Suivez les instructions de l'API pour créer un service à l'aide de l'explorateur d'API.

    Créer un cluster Dataproc et se connecter à Dataproc Metastore

    Ensuite, vous créez un cluster Dataproc et vous vous connectez à votre metastore depuis le cluster. Votre cluster utilise ensuite le service Metastore comme HMS. Le cluster que vous créez ici utilise les paramètres par défaut fournis.

    Console

    1. Dans la console Google Cloud , accédez à la page Clusters Dataproc.

      Accéder aux clusters Dataproc

    2. Dans la barre de navigation, sélectionnez + Créer un cluster.

      La boîte de dialogue Créer un cluster s'ouvre et vous propose plusieurs choix d'infrastructure.

    3. Sur la ligne Cluster sur Compute Engine, sélectionnez Créer.

      La page Créer un cluster Dataproc sur Compute Engine s'ouvre.

    4. Dans le champ Cluster Name (Nom du cluster), saisissez example-cluster.

    5. Dans les menus Région et Zone, sélectionnez us-central1.

    6. Pour les autres options de la section Configurer le cluster, utilisez les valeurs par défaut fournies.

    7. Dans le menu de navigation, cliquez sur l'onglet Personnaliser le cluster (facultatif).

    8. Dans la section Dataproc Metastore, sélectionnez le service de metastore que vous avez créé précédemment.

      Si vous avez suivi ce tutoriel tel quel, il s'appelle example-service.

    9. Pour les autres options de configuration du service, utilisez les valeurs par défaut fournies.

    10. Pour créer le cluster, cliquez sur Créer.

      Votre nouveau cluster apparaît dans la liste Clusters. L'état du cluster indique Provisionnement jusqu'à ce qu'il soit prêt à être utilisé. Lorsque le compte est prêt, son état passe à Actif. Le provisionnement du cluster peut prendre quelques minutes.

    gcloud CLI

    Pour créer un cluster à l'aide des paramètres par défaut fournis, exécutez la commande gcloud dataproc clusters create suivante :

     gcloud dataproc clusters create example-cluster \
        --dataproc-metastore=projects/PROJECT_ID/locations/us-central1/services/example-service \
        --region=us-central1

    Remplacez PROJECT_ID par l'ID du projet dans lequel vous avez créé votre service Dataproc Metastore.

    REST

    Suivez les instructions de l'API pour créer un cluster à l'aide de l'explorateur d'API.

    Se connecter à Apache Hive avec un cluster Dataproc

    Les étapes suivantes vous expliquent comment exécuter des exemples de commandes dans Apache Hive pour créer une base de données et une table.

    Ensuite, ouvrez une session SSH sur le cluster Dataproc et lancez une session Hive.

    1. Dans la console Google Cloud , accédez à la page Instances de VM.
    2. Dans la liste des instances de machine virtuelle, cliquez sur SSH à côté de example-cluster.

    Une fenêtre de navigateur s'ouvre dans votre répertoire de base sur le nœud, avec une sortie semblable à ce qui suit :

    Connected, host fingerprint: ssh-rsa ...
    Linux cluster-1-m 3.16.0-0.bpo.4-amd64 ...
    ...
    example-cluster@cluster-1-m:~$
    

    Pour démarrer Hive et créer une base de données et une table, exécutez les commandes suivantes dans la session SSH :

    1. Démarrez Hive.

      hive
      
    2. Créez une base de données nommée myDatabase.

      create database myDatabase;
      
    3. Affichez la base de données que vous avez créée.

      show databases;
      
    4. Utilisez la base de données que vous avez créée.

      use myDatabase;
      
    5. Créez une table appelée myTable.

      create table myTable(id int,name string);
      
    6. Listez les tables sous myDatabase.

      show tables;
      
    7. Décrivez le schéma de la table que vous avez créée.

      desc MyTable;
      

    L'exécution de ces commandes génère un résultat semblable au suivant :

    $hive
    
    hive> show databases;
    OK
    default
    hive> create database myDatabase;
    OK
    hive> use myDatabase;
    OK
    hive> create table myTable(id int,name string);
    OK
    hive> show tables;
    OK
    myTable
    hive> desc myTable;
    OK
    id                      int
    name                    string
    

    Effectuer un nettoyage

    Pour éviter que les ressources utilisées dans cette démonstration soient facturées sur votre compte Google Cloud , procédez comme suit :

    1. In the Google Cloud console, go to the Manage resources page.

      Go to Manage resources

    2. If the project that you plan to delete is attached to an organization, expand the Organization list in the Name column.
    3. In the project list, select the project that you want to delete, and then click Delete.
    4. In the dialog, type the project ID, and then click Shut down to delete the project.

    Vous pouvez également supprimer les ressources utilisées dans ce tutoriel :

    1. Supprimez le service Dataproc Metastore.

      Console

      1. Dans la console Google Cloud , ouvrez la page Dataproc Metastore :

        Accéder à Dataproc Metastore

      2. Dans la liste des services, sélectionnez example-service.

      3. Dans la barre de navigation, cliquez sur Supprimer.

        La boîte de dialogue Supprimer le service s'ouvre.

      4. Dans la boîte de dialogue, cliquez sur Supprimer.

        Votre service n'apparaît plus dans la liste des services.

      gcloud CLI

      Pour supprimer votre service, exécutez la commande gcloud metastore services delete suivante.

       gcloud metastore services delete example-service \
           --location=us-central1

      REST

      Suivez les instructions de l'API pour supprimer un service à l'aide de l'explorateur d'API.

      Toutes les suppressions sont effectives immédiatement.

    2. Supprimez le bucket Cloud Storage associé au service Dataproc Metastore.

    3. Supprimez le cluster Dataproc qui utilisait le service Dataproc Metastore.

    Étapes suivantes