Guide de démarrage rapide: migrer un métastore MySQL autogéré vers Dataproc Metastore

Migrer le métastore MySQL autogéré vers Dataproc Metastore

Cette page explique comment migrer votre métastore MySQL autogéré externe vers Dataproc Metastore en créant un fichier de vidage MySQL et en important les métadonnées dans un service Dataproc Metastore existant.

Avant de commencer

  1. Connectez-vous à votre compte Google Cloud. Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $ de crédits gratuits pour exécuter, tester et déployer des charges de travail.
  2. Dans Google Cloud Console, sur la page de sélection du projet, sélectionnez ou créez un projet Google Cloud.

    Accéder au sélecteur de projet

  3. Assurez-vous que la facturation est activée pour votre projet Cloud. Découvrez comment vérifier si la facturation est activée sur un projet.

  4. Dans Google Cloud Console, sur la page de sélection du projet, sélectionnez ou créez un projet Google Cloud.

    Accéder au sélecteur de projet

  5. Assurez-vous que la facturation est activée pour votre projet Cloud. Découvrez comment vérifier si la facturation est activée sur un projet.

  6. Activez l'API Dataproc Metastore

    Activer l'API

Contrôle des accès

  • Si vous utilisez VPC Service Controls, vous ne pouvez importer des données qu'à partir d'un bucket Cloud Storage situé dans le même périmètre de service que le service Dataproc Metastore.

  • Pour créer un service, vous devez demander un rôle IAM contenant l'autorisation IAM metastore.services.create. Pour importer des métadonnées, vous devez demander un rôle IAM contenant l'autorisation IAM metastore.imports.create. Les rôles spécifiques à Dataproc Metastore roles/metastore.admin et roles/metastore.editor incluent des autorisations de création et d'importation.

  • Vous pouvez accorder des autorisations de création et d'importation à des utilisateurs ou des groupes à l'aide des anciens rôles roles/owner et roles/editor.

  • L'agent de service Dataproc Metastore (service-CUSTOMER_PROJECT_NUMBER@gcp-sa-metastore.iam.gserviceaccount.com) et l'utilisateur qui importe les métadonnées doivent disposer de l'autorisation storage.objects.get sur l'objet Cloud Storage (fichier de vidage SQL) utilisé pour l'importation.

Pour obtenir et définir des stratégies IAM, vous pouvez utiliser les éléments suivants:

Pour en savoir plus, consultez la page Dataproc IAM store et le contrôle des accès.

Créer un service Dataproc Metastore

Les instructions suivantes montrent comment créer un service Dataproc Metastore vers lequel vous pouvez ensuite migrer:

Console

  1. Dans Cloud Console, ouvrez la page Créer un service:

    Ouvrir la page "Créer un service" dans Cloud Console

    Page de création d'un service
  2. Dans le champ Nom du service, saisissez example-service.

  3. Sélectionnez l'emplacement des données. Pour en savoir plus sur la sélection d'une région, consultez la page Emplacements Cloud.

  4. Pour les autres options de configuration du service, utilisez les valeurs par défaut fournies.

  5. Pour créer et démarrer le service, cliquez sur le bouton Envoyer.

Votre nouveau service s'affiche dans la liste "Service".

gcloud

Exécutez la commande gcloud metastore services create suivante pour créer un service:

 gcloud metastore services create example-service \
     --location=LOCATION
 

Remplacez LOCATION par la région Compute Engine dans laquelle vous prévoyez de créer le service. Assurez-vous que Dataproc Metastore est disponible dans la région.

REST

Suivez les instructions de l'API pour créer un service à l'aide d'API Explorer.

Préparer la migration

Vous devez maintenant préparer les métadonnées stockées dans votre base de données métastore Hive pour les importer en créant un fichier de vidage MySQL et en le plaçant dans un bucket Cloud Storage.

Pour vous préparer à la migration, consultez la page Préparer l'importation.

Importer les métadonnées

Maintenant que vous avez préparé le fichier de vidage, importez-le dans votre service Dataproc Metastore.

Pour connaître la procédure à suivre pour importer vos métadonnées dans votre service example-service, consultez la page Effectuer l'importation.

Créer et associer un cluster Dataproc

Après avoir importé vos métadonnées dans le service Dataproc Metastore example-service, créez et associez un cluster Dataproc qui utilise le service en tant que métastore Hive.

Effectuer un nettoyage

Pour éviter que les ressources utilisées sur cette page soient facturées sur votre compte Google Cloud :

  1. Dans la console, accédez à la page Gérer les ressources.

    Accéder à la page Gérer les ressources

  2. Si le projet que vous envisagez de supprimer est associé à une organisation, développez la liste Organisation dans la colonne Nom.
  3. Dans la liste des projets, sélectionnez le projet que vous souhaitez supprimer, puis cliquez sur Supprimer.
  4. Dans la boîte de dialogue, saisissez l'ID du projet, puis cliquez sur Arrêter pour supprimer le projet.

Vous pouvez également supprimer les ressources utilisées dans ce tutoriel:

  1. Supprimez le service Dataproc Metastore.

    Console

    1. Dans Cloud Console, ouvrez la page Dataproc Metastore:

      Ouvrir Dataproc Metastore dans Cloud Console

    2. À gauche du nom du service, sélectionnez example-service en cochant la case.

    3. En haut de la page Dataproc Metastore, cliquez sur Delete (Supprimer) pour supprimer le service.

    4. Dans la boîte de dialogue, cliquez sur Supprimer pour confirmer la suppression.

    Votre service n'apparaît plus dans la liste "Service".

    gcloud

    Exécutez la commande gcloud metastore services delete suivante pour supprimer un service:

     gcloud metastore services delete example-service \
         --location=LOCATION
     

    Remplacez LOCATION par la région Compute Engine dans laquelle vous avez créé le service.

    REST

    Suivez les instructions de l'API pour supprimer un service à l'aide d'API Explorer.

    Toutes les suppressions aboutissent immédiatement.

  2. Supprimez le bucket Cloud Storage pour le service Dataproc Metastore.

Étape suivante