Migrer un métastore MySQL autogéré vers Dataproc Metastore

Migrer un métastore MySQL autogéré vers Dataproc Metastore

Cette page explique comment migrer votre métastore externe autogéré MySQL vers Dataproc Metastore en créant un fichier de vidage MySQL et en important les métadonnées dans un service Dataproc Metastore existant.

Avant de commencer

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

5. Make sure that billing is enabled for your Google Cloud project.

6. Enable the Dataproc Metastore API.

   Enable the API

Rôles requis

Afin d'obtenir les autorisations nécessaires pour créer un métastore Dataproc et importer un métastore MYSQL, procédez comme suit : demandez à votre administrateur de vous accorder le rôles IAM suivants:

• Pour créer un service et importer des métadonnées :
  • Éditeur Dataproc Metastore (roles/metastore.editor) sur le projet
  • Administrateur Dataproc Metastore (roles/metastore.admin) sur le projet.
• Pour utiliser l'objet Cloud Storage (fichier de vidage SQL) pour l'importation :
  • Lecteur des objets Storage (roles/storage.objectViewer) sur l'agent de service Dataproc Metastore. Par exemple, [e-mail].
  • Lecteur des objets Storage (roles/storage.objectViewer) sur le compte utilisateur.

Pour en savoir plus sur l'attribution de rôles, consultez la page Gérer l'accès aux projets, aux dossiers et aux organisations.

Ces rôles prédéfinis contiennent les autorisations requises pour créer un métastore Dataproc et importer un métastore MySQL ; Pour connaître les autorisations exactes requises, développez la section Autorisations requises :

Autorisations requises

Les autorisations suivantes sont requises pour créer un métastore Dataproc et importer un métastore MYSQL:

• Pour créer un service : metastore.services.create sur le projet.
• Pour importer des métadonnées : metastore.imports.create sur le projet.
• Pour utiliser l'objet Cloud Storage (fichier de vidage SQL) pour l'importation :
  • storage.objects.get sur l'agent de service Dataproc Metastore. Par exemple, [e-mail].
  • storage.objects.get sur le compte utilisateur.

Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.

Pour en savoir plus sur les rôles et les autorisations spécifiques de Dataproc Metastore, consultez Gérer l'accès à Dataproc avec IAM.

Créer un service Dataproc Metastore

Les instructions suivantes montrent comment créer un service Dataproc Metastore vers lequel vous pouvez migrer votre fichier de vidage SQL.

Console

1. Dans la console Google Cloud, ouvrez la page Créer un service :

   Accéder à la page "Créer un service"

   

   Page "Créer un service" de Dataproc Metastore

2. Dans le champ Service name (Nom du compte de service), saisissez example-service.

3. Sélectionnez Data location (Emplacement des données). Pour en savoir plus sur la sélection d'une région, consultez la section Emplacements Cloud.

4. Pour les autres options de configuration du service, utilisez les valeurs par défaut fournies.

5. Pour créer et démarrer le service, cliquez sur le bouton Submit (Envoyer).

Le nouveau service apparaît dans la liste des services.

gcloud

Exécutez la commande gcloud metastore services create suivante pour créer un service.

 gcloud metastore services create example-service \
     --location=LOCATION
 

Remplacez LOCATION par la région Compute Engine dans laquelle vous prévoyez de créer le service. Assurez-vous que Dataproc Metastore est disponible dans la région.

REST

Suivez les instructions de l'API pour créer un service à l'aide de l'explorateur d'API.

Préparer la migration

Vous devez maintenant préparer les métadonnées stockées dans votre base de données métastore Hive pour les importer en créant un fichier de vidage MySQL et en le plaçant dans un bucket Cloud Storage.

Consultez la page Préparer les fichiers d'importation avant l'importation pour connaître la procédure de préparation de la migration.

Importer les métadonnées

Maintenant que vous avez préparé le fichier de vidage, importez-le dans votre service Dataproc Metastore.

Consultez Importer les fichiers dans Dataproc Metastore. pour savoir comment importer vos métadonnées dans votre service example-service.

Remarque : Si vous utilisez VPC Service Controls, vous ne pouvez importer que des données d'un bucket Cloud Storage résidant dans le même périmètre de service que le service Dataproc Metastore.

Créer et associer un cluster Dataproc

Après avoir importé vos métadonnées dans votre service Dataproc Metastore example-service, créez et associez un cluster Dataproc qui utilise le service en tant que métastore Hive.

Effectuer un nettoyage

Pour éviter que les ressources utilisées sur cette page soient facturées sur votre compte Google Cloud, procédez comme suit :

Attention : La suppression d'un projet entraîne les effets décrits ci-dessous :

• Tout le contenu du projet est supprimé. Si vous avez utilisé un projet existant pour les tâches décrites dans ce document et que vous le supprimez, vous supprimerez également tout autre travail effectué dans le projet.
• Les ID de projets personnalisés sont perdus. Lorsque vous avez créé ce projet, vous avez peut-être créé un ID de projet personnalisé que vous souhaitez utiliser à l'avenir. Pour conserver les URL qui utilisent l'ID de projet, telle qu'une URL appspot.com, supprimez les ressources sélectionnées dans le projet au lieu de supprimer l'ensemble du projet.

Si vous envisagez d'explorer plusieurs architectures, tutoriels et guides de démarrage rapide, réutiliser des projets peut vous aider à ne pas dépasser les limites de quotas des projets.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. If the project that you plan to delete is attached to an organization, expand the Organization list in the Name column.
3. In the project list, select the project that you want to delete, and then click Delete.
4. In the dialog, type the project ID, and then click Shut down to delete the project.

Vous pouvez également supprimer les ressources utilisées dans ce tutoriel :

1. Supprimez le service Dataproc Metastore.

   Console

   1. Dans la console Google Cloud, ouvrez la page "Dataproc Metastore" :

      Ouvrez Dataproc Metastore dans le Console Google Cloud

   2. À gauche du nom du service, cochez la case example-service.

   3. En haut de la page Dataproc Metastore, cliquez sur Supprimer pour supprimer le service.

   4. Dans la boîte de dialogue, cliquez sur Supprimer pour confirmer la suppression.

   Votre service n'apparaît plus dans la liste des services.

   gcloud

   Exécutez la commande gcloud metastore services delete suivante pour supprimer un service:

    gcloud metastore services delete example-service \
        --location=LOCATION

   Remplacez LOCATION par la région Compute Engine dans laquelle vous avez créé le service.

   REST

   Suivez les instructions de l'API pour supprimer un service à l'aide de l'explorateur d'API.

   Toutes les suppressions sont effectives immédiatement.

   Remarque :La suppression du service entraîne la suppression de toutes les importations imbriquées sous ce service.

2. Supprimez le bucket Cloud Storage associé au service Dataproc Metastore.

   Remarque :La suppression du service Dataproc Metastore ne supprime pas son bucket.

Étape suivante

• Qu'est-ce que Dataproc Metastore ?
• Importer des métadonnées dans un service
• Associer un cluster Dataproc ou autogéré