Migrer un métastore MySQL autogéré vers Dataproc Metastore
Cette page explique comment migrer votre métastore externe autogéré MySQL vers Dataproc Metastore en créant un fichier de vidage MySQL et en important les métadonnées dans un service Dataproc Metastore existant.
Avant de commencer
- Connectez-vous à votre compte Google Cloud. Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $ de crédits gratuits pour exécuter, tester et déployer des charges de travail.
-
Dans Google Cloud Console, sur la page de sélection du projet, sélectionnez ou créez un projet Google Cloud.
-
Vérifiez que la facturation est activée pour votre projet Google Cloud.
-
Dans Google Cloud Console, sur la page de sélection du projet, sélectionnez ou créez un projet Google Cloud.
-
Vérifiez que la facturation est activée pour votre projet Google Cloud.
-
Activez l'API Dataproc Metastore
Rôles requis
Pour obtenir les autorisations dont vous avez besoin pour créer un métastore Dataproc et importer un métastore MySQL, demandez à votre administrateur de vous attribuer les rôles IAM suivants:
-
Pour créer un service et importer des métadonnées :
-
Éditeur Dataproc Metastore (
roles/metastore.editor
) sur le projet -
Administrateur Dataproc Metastore (
roles/metastore.admin
) pour le projet.
-
Éditeur Dataproc Metastore (
-
Pour utiliser l'objet Cloud Storage (fichier de dump SQL) pour l'importation :
-
Lecteur des objets Storage (
roles/storage.objectViewer
) sur l'agent de service Dataproc Metastore. Exemple :service-CUSTOMER_PROJECT_NUMBER@gcp-sa-metastore.iam.gserviceaccount.com
. -
Lecteur des objets Storage (
roles/storage.objectViewer
) sur le compte utilisateur.
-
Lecteur des objets Storage (
Pour en savoir plus sur l'attribution de rôles, consultez la section Gérer les accès.
Ces rôles prédéfinis contiennent les autorisations requises pour créer un métastore Dataproc et importer un métastore MYSQL. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :
Autorisations requises
Les autorisations suivantes sont requises pour créer un métastore Dataproc et importer un métastore MYSQL:
-
Pour créer un service :
metastore.services.create
sur le projet. -
Pour importer des métadonnées :
metastore.imports.create
sur le projet. -
Pour utiliser l'objet Cloud Storage (fichier de dump SQL) pour l'importation :
-
storage.objects.get
sur l'agent de service Dataproc Metastore. Par exemple,service-CUSTOMER_PROJECT_NUMBER@gcp-sa-metastore.iam.gserviceaccount.com
. -
storage.objects.get
sur le compte utilisateur.
-
Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.
Pour en savoir plus sur les rôles et autorisations spécifiques de Dataproc Metastore, consultez la page Gérer l'accès à Dataproc avec IAM.Créer un service Dataproc Metastore
Les instructions suivantes montrent comment créer un service Dataproc Metastore vers lequel vous pouvez migrer le fichier de dump SQL.
Console
Dans la console Google Cloud, ouvrez la page Créer un service:
Dans le champ Service name (Nom du compte de service), saisissez
example-service
.Sélectionnez Data location (Emplacement des données). Pour en savoir plus sur la sélection d'une région, consultez la section Emplacements Cloud.
Pour les autres options de configuration du service, utilisez les valeurs par défaut fournies.
Pour créer et démarrer le service, cliquez sur le bouton Submit (Envoyer).
Le nouveau service apparaît dans la liste des services.
gcloud
Exécutez la commande gcloud metastore services create
suivante pour créer un service.
gcloud metastore services create example-service \ --location=LOCATION
Remplacez LOCATION
par la région Compute Engine dans laquelle vous prévoyez de créer le service. Assurez-vous que Dataproc Metastore est disponible dans la région.
REST
Suivez les instructions de l'API pour créer un service à l'aide de l'explorateur d'API.
Préparer la migration
Vous devez maintenant préparer les métadonnées stockées dans votre base de données métastore Hive pour les importer en créant un fichier de vidage MySQL et en le plaçant dans un bucket Cloud Storage.
Pour connaître les étapes de préparation à la migration, consultez la section Préparer les fichiers d'importation avant l'importation.
Importer les métadonnées
Maintenant que vous avez préparé le fichier de vidage, importez-le dans votre service Dataproc Metastore.
Consultez la page Importer les fichiers dans Dataproc Metastore pour découvrir les étapes à suivre pour importer vos métadonnées dans votre service example-service
.
Créer et associer un cluster Dataproc
Après avoir importé vos métadonnées dans votre service Dataproc Metastore example-service
, créez et associez un cluster Dataproc qui utilise le service en tant que métastore Hive.
Effectuer un nettoyage
Pour éviter que les ressources utilisées sur cette page soient facturées sur votre compte Google Cloud, procédez comme suit :
- Dans la console Google Cloud, accédez à la page Gérer les ressources.
- Si le projet que vous envisagez de supprimer est associé à une organisation, développez la liste Organisation dans la colonne Nom.
- Dans la liste des projets, sélectionnez le projet que vous souhaitez supprimer, puis cliquez sur Supprimer.
- Dans la boîte de dialogue, saisissez l'ID du projet, puis cliquez sur Arrêter pour supprimer le projet.
Vous pouvez également supprimer les ressources utilisées dans ce tutoriel :
Supprimez le service Dataproc Metastore.
Console
Dans la console Google Cloud, ouvrez la page "Dataproc Metastore" :
À gauche du nom du service, cochez la case
example-service
.En haut de la page Dataproc Metastore, cliquez sur Supprimer pour supprimer le service.
Dans la boîte de dialogue, cliquez sur Supprimer pour confirmer la suppression.
Votre service n'apparaît plus dans la liste des services.
gcloud
Exécutez la commande
gcloud metastore services delete
suivante pour supprimer un service:gcloud metastore services delete example-service \ --location=LOCATION
Remplacez
LOCATION
par la région Compute Engine dans laquelle vous avez créé le service.REST
Suivez les instructions de l'API pour supprimer un service à l'aide de l'explorateur d'API.
Toutes les suppressions sont effectives immédiatement.
Supprimez le bucket Cloud Storage associé au service Dataproc Metastore.