Restaurer Dataproc Metastore à partir d'une sauvegarde

Cette page explique comment restaurer un service Dataproc Metastore à partir d'une sauvegarde.

Une sauvegarde est un instantané des paramètres de configuration et des métadonnées stockées dans un service Dataproc Metastore. Vous pouvez utiliser la fonctionnalité de restauration pour configurer rapidement un nouveau service Dataproc Metastore avec les données précédemment enregistrées dans une sauvegarde.

Avant de commencer

Rôles requis

Pour obtenir les autorisations nécessaires pour restaurer un service Dataproc Metastore à partir d'une sauvegarde, demandez à votre administrateur de vous accorder les rôles IAM suivants:

Pour en savoir plus sur l'attribution de rôles, consultez la page Gérer l'accès aux projets, aux dossiers et aux organisations.

Ces rôles prédéfinis contiennent les autorisations requises pour restaurer un service Metastore Dataproc à partir d'une sauvegarde. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :

Autorisations requises

Les autorisations suivantes sont requises pour restaurer un service Dataproc Metastore à partir d'une sauvegarde:

  • Pour restaurer un service de métadonnées : metastore.services.restore, metastore.backups.use
  • Pour utiliser l'objet Cloud Storage :
    • orgpolicy.policy.get
    • resourcemanager.projects.get
    • resourcemanager.projects.list
    • storage.managedFolders.create
    • storage.managedFolders.delete
    • storage.managedFolders.get
    • storage.managedFolders.list
    • storage.multipartUploads.*
    • storage.objects.create
    • storage.objects.delete
    • storage.objects.get
    • storage.objects.list
    • storage.objects.restore
    • storage.objects.update

Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.

Pour en savoir plus sur les rôles et les autorisations spécifiques de Dataproc Metastore, consultez la page Présentation de l'IAM Dataproc Metastore.

À propos de la restauration à partir d'une sauvegarde

Lorsque vous restaurez un service à partir d'une sauvegarde, vous pouvez choisir l'une des options suivantes:

  • Restaurez toutes les métadonnées et les paramètres de configuration enregistrés dans la sauvegarde.

  • Restaurez toutes les métadonnées, mais ne restaurez pas les paramètres de configuration enregistrés dans la sauvegarde. À la place, votre service conserve vos paramètres de configuration actuels.

    Les paramètres de configuration incluent les paramètres Dataproc Metastore tels que le nom du service, le numéro de port et les paramètres réseau. Les métadonnées incluent toutes les informations sur les bases de données et les tables stockées dans un service Dataproc Metastore.

Remarques

  • Tant qu'une opération de restauration est en cours, vous ne pouvez pas mettre à jour votre service. Par exemple, vous ne pouvez pas modifier les paramètres de configuration. Toutefois, vous pouvez toujours utiliser votre service pour les opérations normales, par exemple pour accéder à ses métadonnées à partir de clusters Dataproc ou autogérés associés.

  • Les libellés Dataproc Metastore ne sont pas restaurés.

  • Les données stockées dans le répertoire de l'entrepôt ne sont pas restaurées.

  • La restauration à partir d'une sauvegarde ne restaure ni ne remplace les règles IAM précises.

  • Pour restaurer à partir d'une sauvegarde planifiée, votre sauvegarde doit se trouver dans un bucket Cloud Storage.

Restaurer à partir d'une sauvegarde

Pour restaurer un service Dataproc Metastore à partir d'une sauvegarde, procédez comme suit :

  • Si vous utilisez la console Google Cloud, vous ne pouvez restaurer des métadonnées qu'à partir d'une sauvegarde créée dans le même projet et la même région que votre nouveau service.

  • Si vous utilisez la Google Cloud CLI ou les API Dataproc Metastore, vous pouvez restaurer des métadonnées à partir d'une sauvegarde créée dans un autre projet et une autre région (sauvegarde interservices).

Console

  1. Dans la console Google Cloud, ouvrez la page Dataproc Metastore:

    Ouvrir Dataproc Metastore

  2. Sur la page Dataproc Metastore, cliquez sur le nom du service que vous souhaitez restaurer à partir d'une sauvegarde.

    La page Informations sur le service s'ouvre.

    Page d'information sur le service
    Figure 1 Page d'informations sur le service Dataproc Metastore

  3. Pour afficher vos sauvegardes, cliquez sur l'onglet Sauvegarder/Restaurer.

  4. Sélectionnez la sauvegarde que vous souhaitez utiliser. Pour ce faire, cliquez sur l'icône de menu , puis sélectionnez Restore (Rétablir).

    La page Restore (Restaurer) s'ouvre.

    Vous pouvez également restaurer votre service sur la page Détails de la sauvegarde. Pour ce faire, cliquez sur le nom de la sauvegarde, puis sur Restaurer.

  5. Sélectionnez l'opération de restauration appropriée:

    • Restaurer les données du métastore Restaure toutes les métadonnées, mais pas les paramètres de configuration enregistrés dans la sauvegarde
    • Restaurez les données de métastore et la configuration du service. Restaure toutes les métadonnées et tous les paramètres de configuration enregistrés dans la sauvegarde.

  6. Pour mettre à jour le service, cliquez sur Restaurer.

    Revenez sur la page Dataproc Metastore et vérifiez que votre service a bien été sauvegardé.

    Une fois la restauration terminée, Dataproc Metastore revient automatiquement à l'état actif, que la restauration ait réussi ou non.

CLI gcloud

  1. Pour restaurer un service Dataproc Metastore, exécutez la commande gcloud metastore services restore suivante:

    gcloud metastore services restore SERVICE  \
    --project=PROJECT_ID \
    --location=LOCATION \
    --backup=BACKUP \
    --restore-type=RESTORE_TYPE \
    --backup-location=BACKUP_LOCATION

    Remplacez les éléments suivants :

    • SERVICE: nom de votre service Dataproc Metastore.
    • PROJECT_ID: ID du projet Google Cloud dans lequel se trouve votre service Dataproc Metastore.
    • LOCATION: région Google Cloud dans laquelle se trouve votre service Dataproc Metastore.
    • BACKUP: facultatif: identifiant du fichier de sauvegarde à partir duquel vous effectuez la restauration. Cette valeur peut être l'ID de la sauvegarde, une URL complète ou le nom relatif au format suivant : projects/{project_id}/locations/{location_id}/services/{service_id}/backups/{backup_id}.
    • RESTORE_TYPE: type d'opération de restauration à effectuer. Les valeurs acceptées incluent metadata-only ou full. La valeur par défaut est metadata-only.
    • BACKUP_LOCATION : (facultatif) emplacement Cloud Storage de votre sauvegarde planifiée. Exemple : gs://my-bucket/path/to/location.

  2. Vérifiez que l'opération de restauration a réussi.

    Une fois la restauration terminée, Dataproc Metastore revient automatiquement à l'état actif, que la restauration ait réussi ou non.

REST

Suivez les instructions de l'API pour restaurer des métadonnées dans un service à l'aide de l'APIs Explorer d'API.

Une fois la restauration terminée, Dataproc Metastore revient automatiquement à l'état actif, que la restauration ait réussi ou non.

Afficher l'historique des restaurations

Pour afficher l'historique de restauration d'un service Dataproc Metastore dans la console Google Cloud, procédez comme suit:

  1. Dans la console Google Cloud, ouvrez la page Dataproc Metastore.

  2. Dans la barre de navigation, cliquez sur Sauvegarder/Restaurer.

    Votre historique de restauration s'affiche dans un tableau sous Restaurer.

    L'historique affiche les 25 dernières restaurations que vous avez effectuées.

    La suppression d'un service Dataproc Metastore entraîne également la suppression de l'ensemble de l'historique de restauration associé.

Résoudre les problèmes courants

Étape suivante