Cette page explique comment restaurer un service Dataproc Metastore à partir d'une sauvegarde.
Une sauvegarde est un instantané des paramètres de configuration et des métadonnées stockés dans un service Dataproc Metastore. La fonctionnalité de restauration vous permet de configurer rapidement un nouveau service Dataproc Metastore avec les données précédemment enregistrées dans une sauvegarde.
Avant de commencer
- Activez Dataproc Metastore dans votre projet.
- Créez un service Dataproc Metastore.
- Sauvegardez un service Dataproc Metastore.
Rôles requis
Pour obtenir les autorisations nécessaires pour restaurer un service Dataproc Metastore à partir d'une sauvegarde, demandez à votre administrateur de vous attribuer les rôles IAM suivants:
-
Pour accorder le contrôle total des ressources Dataproc Metastore afin d'effectuer une sauvegarde, vous pouvez :
-
Éditeur Dataproc Metastore (
roles/metastore.editor
) sur le service de métadonnées. -
Administrateur Dataproc Metastore (
roles/metastore.admin
) sur le projet.
-
Éditeur Dataproc Metastore (
-
Pour utiliser l'objet Cloud Storage qui stocke les sauvegardes planifiées : Utilisateur d'objets Cloud Storage (
roles/storage.objectUser
) sur l'agent de service Dataproc Metastore
Pour en savoir plus sur l'attribution de rôles, consultez la section Gérer les accès.
Ces rôles prédéfinis contiennent les autorisations requises pour restaurer un service Dataproc Metastore à partir d'une sauvegarde. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :
Autorisations requises
Les autorisations suivantes sont requises pour restaurer un service Dataproc Metastore à partir d'une sauvegarde:
-
Pour restaurer un service de métadonnées :
metastore.services.restore, metastore.backups.use
-
Pour utiliser l'objet Cloud Storage :
-
orgpolicy.policy.get
-
resourcemanager.projects.get
-
resourcemanager.projects.list
-
storage.managedFolders.create
-
storage.managedFolders.delete
-
storage.managedFolders.get
-
storage.managedFolders.list
-
storage.multipartUploads.*
-
storage.objects.create
-
storage.objects.delete
-
storage.objects.get
-
storage.objects.list
-
storage.objects.restore
-
storage.objects.update
-
Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.
Pour en savoir plus sur des rôles et des autorisations spécifiques à Dataproc Metastore, consultez la page Présentation du service IAM de Dataproc Metastore.À propos de la restauration à partir d'une sauvegarde
Lorsque vous restaurez un service à partir d'une sauvegarde, vous pouvez choisir l'une des options suivantes:
- Restaurez toutes les métadonnées et les paramètres de configuration enregistrés dans la sauvegarde.
Restaurez toutes les métadonnées, mais ne restaurez pas les paramètres de configuration enregistrés dans la sauvegarde. À la place, votre service conserve vos paramètres de configuration actuels.
Les paramètres de configuration incluent des paramètres Dataproc Metastore tels que le nom du service, le numéro de port et les paramètres réseau. Métadonnées : inclut toutes les informations sur les bases de données et les tables stockées dans un service Dataproc Metastore.
Remarques
Lorsqu'une opération de restauration est en cours d'exécution, vous ne pouvez pas mettre à jour votre service. Par exemple, vous ne pouvez pas modifier les paramètres de configuration. Toutefois, vous pouvez toujours utiliser votre service pour des opérations normales, par exemple pour accéder à ses métadonnées à partir de clusters Dataproc associés ou autogérés.
Les libellés Dataproc Metastore ne sont pas restaurés.
Les données stockées dans le répertoire de l'entrepôt ne sont pas restaurées.
La restauration à partir d'une sauvegarde ne restaure pas et ne remplace pas des stratégies IAM précises.
Pour effectuer une restauration à partir d'une sauvegarde planifiée, celle-ci doit se trouver dans un bucket Cloud Storage.
Restaurer à partir d'une sauvegarde
Pour restaurer un service Dataproc Metastore à partir d'une sauvegarde, procédez comme suit.
Si vous utilisez la console Google Cloud, vous ne pouvez restaurer les métadonnées qu'à partir d'une sauvegarde créée dans le même projet et la même région que votre nouveau service.
Si vous utilisez les API Google Cloud CLI ou Dataproc Metastore, vous pouvez restaurer les métadonnées à partir d'une sauvegarde créée dans un projet et une région différents (sauvegarde multiservice).
Console
Dans la console Google Cloud, ouvrez la page Dataproc Metastore:
Sur la page Dataproc Metastore, cliquez sur le nom du service que vous souhaitez restaurer à partir d'une sauvegarde.
La page Détails du service s'ouvre.
Pour afficher vos sauvegardes, cliquez sur l'onglet Sauvegarde/Restauration.
Sélectionnez la sauvegarde que vous souhaitez utiliser. Pour ce faire, cliquez sur l'icône de menu
et sélectionnez Restaurer.La page Restaurer s'ouvre.
Vous pouvez également restaurer votre service sur la page Détails de la sauvegarde. Pour ce faire, cliquez sur le nom de la sauvegarde, puis sur Restaurer.
Sélectionnez l'opération de restauration appropriée:
- Restaurer les données du métastore Restaure toutes les métadonnées, mais ne restaure pas les paramètres de configuration enregistrés dans la sauvegarde
- Restaurer les données et la configuration du service du métastore Restaure toutes les métadonnées et tous les paramètres de configuration enregistrés dans la sauvegarde.
Pour mettre à jour le service, cliquez sur Restaurer.
Revenez à la page Dataproc Metastore et vérifiez que votre service a bien été sauvegardé.
Une fois la restauration terminée, Dataproc Metastore revient automatiquement à l'état actif, que la restauration ait réussi ou non.
gcloud CLI
Pour restaurer un service Dataproc Metastore, exécutez la commande
gcloud metastore services restore
suivante:gcloud metastore services restore SERVICE \ --project=PROJECT_ID \ --location=LOCATION \ --backup=BACKUP \ --restore-type=RESTORE_TYPE \ --backup-location=BACKUP_LOCATION
Remplacez les éléments suivants :
SERVICE
: nom de votre service Dataproc Metastore.PROJECT_ID
: ID du projet Google Cloud dans lequel se trouve Dataproc Metastoreservice.LOCATION
: région Google Cloud hébergeant votre service Dataproc Metastore.BACKUP
: identifiant du fichier de sauvegarde à partir duquel vous effectuez la restauration. Cette valeur peut être l'ID de sauvegarde, une URL complète ou le nom relatif au format suivant :projects/{project_id}/locations/{location_id}/services/{service_id}/backups/{backup_id}
.RESTORE_TYPE
: type d'opération de restauration à effectuer. Les valeurs acceptées sontmetadata-only
etfull
. La valeur par défaut estmetadata-only
.BACKUP_LOCATION
: emplacement Cloud Storage de votre sauvegarde planifiée (facultatif). Exemple :gs://my-bucket/path/to/location
.
Vérifiez que l'opération de restauration a réussi.
Une fois la restauration terminée, Dataproc Metastore revient automatiquement à l'état actif, que la restauration ait réussi ou non.
REST
Suivez les instructions de l'API pour restaurer les métadonnées dans un service à l'aide d'APIs Explorer.
Une fois la restauration terminée, Dataproc Metastore revient automatiquement à l'état actif, que la restauration ait abouti ou non.
Afficher l'historique des restaurations
Pour afficher l'historique des restaurations d'un service Dataproc Metastore dans la console Google Cloud, procédez comme suit:
- Dans la console Google Cloud, ouvrez la page Dataproc Metastore.
Dans la barre de navigation, cliquez sur Sauvegarder/Restaurer.
L'historique des restaurations s'affiche dans un tableau sous Restaurer.
L'historique affiche les 25 dernières restaurations effectuées.
La suppression d'un service Dataproc Metastore entraîne également la suppression de tout l'historique de restauration associé.
Résoudre les problèmes courants
- L'agent de service ou le compte utilisateur ne dispose pas des autorisations nécessaires.
- Pour en savoir plus sur la résolution des problèmes courants, consultez la section Scénarios d'erreur de sauvegarde et de restauration.