Cette page explique comment restaurer un service Dataproc Metastore à partir d'une sauvegarde.
Une sauvegarde est un instantané des métadonnées et des paramètres de configuration stockés dans un service Dataproc Metastore. Vous pouvez utiliser la fonctionnalité de restauration pour configurer rapidement un nouveau service Dataproc Metastore avec les données précédemment enregistrées dans une sauvegarde.
Avant de commencer
- Activez Dataproc Metastore dans votre projet.
- Créez un service Dataproc Metastore.
- Sauvegardez un service Dataproc Metastore.
Rôles requis
Pour obtenir les autorisations nécessaires pour restaurer un service Dataproc Metastore à partir d'une sauvegarde, demandez à votre administrateur de vous attribuer les rôles IAM suivants:
-
Pour accorder le contrôle total des ressources Dataproc Metastore afin d'effectuer une sauvegarde, vous pouvez :
-
Éditeur Dataproc Metastore (
roles/metastore.editor
) sur le service de métadonnées. -
Administrateur Dataproc Metastore (
roles/metastore.admin
) sur le projet.
-
Éditeur Dataproc Metastore (
-
Pour utiliser l'objet Cloud Storage qui stocke les sauvegardes planifiées : Utilisateur d'objets Cloud Storage (
roles/storage.objectUser
) sur l'agent de service Dataproc Metastore
Pour en savoir plus sur l'attribution de rôles, consultez la section Gérer les accès.
Ces rôles prédéfinis contiennent les autorisations requises pour restaurer un service Dataproc Metastore à partir d'une sauvegarde. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :
Autorisations requises
Les autorisations suivantes sont requises pour restaurer un service Dataproc Metastore à partir d'une sauvegarde:
-
Pour restaurer un service de métadonnées :
metastore.services.restore, metastore.backups.use
-
Pour utiliser l'objet Cloud Storage :
-
orgpolicy.policy.get
-
resourcemanager.projects.get
-
resourcemanager.projects.list
-
storage.managedFolders.create
-
storage.managedFolders.delete
-
storage.managedFolders.get
-
storage.managedFolders.list
-
storage.multipartUploads.*
-
storage.objects.create
-
storage.objects.delete
-
storage.objects.get
-
storage.objects.list
-
storage.objects.restore
-
storage.objects.update
-
Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.
Pour en savoir plus sur les rôles et les autorisations spécifiques à Dataproc Metastore, consultez la page Présentation d'IAM de Dataproc Metastore.À propos de la restauration à partir d'une sauvegarde
Lorsque vous restaurez un service à partir d'une sauvegarde, vous pouvez choisir l'une des options suivantes:
- Restaurez toutes les métadonnées et les paramètres de configuration enregistrés dans la sauvegarde.
Restaurez toutes les métadonnées, mais ne restaurez pas les paramètres de configuration enregistrés dans la sauvegarde. À la place, votre service conserve vos paramètres de configuration actuels.
Les paramètres de configuration incluent les paramètres Dataproc Metastore tels que le nom du service, le numéro de port et les paramètres réseau. Métadonnées : incluent toutes les informations de base de données et de table stockées dans un service Dataproc Metastore.
Remarques
Lorsqu'une opération de restauration est en cours d'exécution, vous ne pouvez pas mettre à jour votre service. Par exemple, vous ne pouvez pas modifier les paramètres de configuration. Cependant, vous pouvez toujours l'utiliser pour les opérations normales, par exemple pour accéder à ses métadonnées à partir de clusters Dataproc ou autogérés associés.
Les libellés Dataproc Metastore ne sont pas restaurés.
Les données stockées dans le répertoire de l'entrepôt ne sont pas restaurées.
Une restauration à partir d'une sauvegarde ne restaure ni ne remplace les stratégies IAM précises.
La restauration à partir d'une sauvegarde planifiée nécessite que celle-ci se trouve dans un bucket Cloud Storage.
Restaurer à partir d'une sauvegarde
Pour restaurer un service Dataproc Metastore à partir d'une sauvegarde, procédez comme suit.
Si vous utilisez la console Google Cloud, vous ne pouvez restaurer les métadonnées qu'à partir d'une sauvegarde créée dans le même projet et la même région que votre nouveau service.
Si vous utilisez la Google Cloud CLI ou les API Dataproc Metastore, vous pouvez restaurer les métadonnées à partir d'une sauvegarde créée dans un projet et une région différents (sauvegarde multiservice).
Console
Dans la console Google Cloud, ouvrez la page Dataproc Metastore:
Sur la page Dataproc Metastore, cliquez sur le nom du service que vous souhaitez restaurer à partir d'une sauvegarde.
La page Détails du service s'ouvre.
Pour afficher vos sauvegardes, cliquez sur l'onglet Sauvegarde/Restauration.
Sélectionnez la sauvegarde que vous souhaitez utiliser. Pour ce faire, cliquez sur l'icône de menu
et sélectionnez Restaurer.La page Restaurer s'ouvre.
Vous pouvez également restaurer votre service sur la page Détails de la sauvegarde. Pour ce faire, cliquez sur le nom de la sauvegarde, puis sur Restaurer.
Sélectionnez l'opération de restauration appropriée:
- Restaurer les données du métastore Restaure toutes les métadonnées, mais ne restaure pas les paramètres de configuration enregistrés dans la sauvegarde
- Restaurer les données de métastore et la configuration du service Il restaure toutes les métadonnées et tous les paramètres de configuration enregistrés dans la sauvegarde.
Pour mettre à jour le service, cliquez sur Restaurer.
Revenez à la page Dataproc Metastore et vérifiez que votre service a bien été sauvegardé.
Une fois la restauration terminée, Dataproc Metastore revient automatiquement à l'état actif, que la restauration ait réussi ou non.
gcloud CLI
Pour restaurer un service Dataproc Metastore, exécutez la commande
gcloud metastore services restore
suivante:gcloud metastore services restore SERVICE \ --project=PROJECT_ID \ --location=LOCATION \ --backup=BACKUP \ --restore-type=RESTORE_TYPE \ --backup-location=BACKUP_LOCATION
Remplacez les éléments suivants :
SERVICE
: nom de votre service Dataproc Metastore.PROJECT_ID
: ID du projet Google Cloud dans lequel se trouve votre service Dataproc Metastore.LOCATION
: région Google Cloud dans laquelle se trouve votre service Dataproc Metastore.BACKUP
: identifiant du fichier de sauvegarde à partir duquel vous effectuez la restauration (facultatif) Cette valeur peut être l'ID de sauvegarde, une URL complète ou le nom relatif au format suivant :projects/{project_id}/locations/{location_id}/services/{service_id}/backups/{backup_id}
.RESTORE_TYPE
: type d'opération de restauration à effectuer. Les valeurs acceptées sontmetadata-only
etfull
. La valeur par défaut estmetadata-only
.BACKUP_LOCATION
: (facultatif) emplacement Cloud Storage de votre sauvegarde planifiée. Exemple :gs://my-bucket/path/to/location
.
Vérifiez que l'opération de restauration a réussi.
Une fois la restauration terminée, Dataproc Metastore revient automatiquement à l'état actif, que la restauration ait réussi ou non.
REST
Suivez les instructions de l'API pour restaurer des métadonnées dans un service à l'aide d'APIs Explorer.
Une fois la restauration terminée, Dataproc Metastore revient automatiquement à l'état actif, que la restauration ait réussi ou non.
Afficher l'historique des restaurations
Pour afficher l'historique de restauration d'un service Dataproc Metastore dans la console Google Cloud, procédez comme suit:
- Dans la console Google Cloud, ouvrez la page Dataproc Metastore.
Dans la barre de navigation, cliquez sur Sauvegarder/Restaurer.
L'historique des restaurations s'affiche dans un tableau sous Restaurer.
L'historique affiche les 25 dernières restaurations que vous avez effectuées.
La suppression d'un service Dataproc Metastore entraîne également la suppression de l'historique de restauration associé.
Résoudre les problèmes courants
- L'agent de service ou le compte utilisateur ne dispose pas des autorisations nécessaires.
- Pour obtenir de l'aide sur la résolution des problèmes courants, consultez la section Scénarios d'erreur de sauvegarde et de restauration.